📄️ Grands modèles de langage
Cours premium sur les grands modèles de langage (LLM) : préentraînement, alignement, décodage, contexte, hallucinations, quantification, évaluation et coûts. Examen de 40 questions et attestation.
📄️ 1. Passage à l'échelle
Module 1 du cours premium LLM : ce que grandir apporte vraiment aux modèles de langage, capacités émergentes, apprentissage en contexte, chronologie de GPT-2 à aujourd'hui, ouvert contre propriétaire.
📄️ 2. Préentraînement et lois
Module 2 du cours premium LLM : préparation du corpus, filtrage et dédoublonnage, loi de Chinchilla, coût en calcul et en énergie, place du français dans les corpus.
📄️ 3. Affinage instructions
Module 3 du cours premium LLM : différence entre modèle de base et modèle instruit, format des jeux d'instructions, gabarit de conversation, qualité contre quantité des exemples.
📄️ 4. Alignement RLHF DPO
Module 4 du cours premium LLM : modèle de récompense, apprentissage par renforcement PPO, DPO comme alternative directe, refus et sur-refus, limites de l'alignement.
📄️ 5. Décodage
Module 5 du cours premium LLM : effet de chaque paramètre de décodage sur la distribution, répétitions et pénalités, déterminisme, réglages recommandés par usage.
📄️ 6. Fenêtre de contexte
Module 6 du cours premium LLM : coût du contexte, perte au milieu, résumé glissant, mémoire externe et récupération, RAG comme réponse structurelle.
📄️ 7. Hallucinations
Module 7 du cours premium LLM : pourquoi un modèle invente, ancrage dans des sources, demande de citations, abstention, vérification par un second modèle, et ce qui ne marche pas.
📄️ 8. Quantification et service
Module 8 du cours premium LLM : quantification 8 et 4 bits, GPTQ, AWQ et GGUF, mémoire nécessaire selon la taille, service avec vLLM et llama.cpp, débit contre latence.
📄️ 9. Évaluation
Module 9 du cours premium LLM : MMLU et ses limites, contamination des jeux de test, arènes et Elo, modèle juge, construction d'un jeu d'évaluation métier.
📄️ 10. Coûts et architecture
Module 10 du cours premium LLM : API contre auto-hébergement, coût par requête, routage petit et grand modèle, cache, décision pour le fil rouge de l'assistant support.
📄️ 11. Récapitulation et examen
Récapitulation du cours premium sur les grands modèles de langage : lois d'échelle, affinage, alignement, décodage, contexte, hallucinations, service, évaluation et coûts. Examen final de 40 questions.