Grands modèles de langage

Fonctionnement des grands modèles de langage, de leur préentraînement à leur mise en service maîtrisée.

Durée du cours : 9h

Ce que vous allez apprendre

• Décrire les étapes du préentraînement à l'alignement
• Expliquer pourquoi un modèle invente et comment limiter ce risque
• Estimer le coût d'un appel selon le nombre de jetons
• Choisir entre modèle hébergé et modèle auto-hébergé
• Mesurer la qualité des réponses sur un jeu de tests maison

Prérequis

• Transformeurs et attention
• Traitement du langage naturel

Modules du cours

1. Ce que change réellement le passage à l'échelle
2. Préentraînement : données, jetons et lois d'échelle
3. Affinage supervisé sur des instructions
4. Alignement : RLHF et méthodes par préférences
5. Décodage : température, top-k, top-p
6. Fenêtre de contexte et gestion de la mémoire
7. Hallucinations : causes et parades
8. Quantification et service à moindre coût
9. Évaluation : jeux de référence et jugements humains
10. Coûts, latence et choix d'architecture

Évaluation et attestation

Le parcours se termine par un examen de 40 questions qui couvre tous les modules. En cas de réussite, une attestation d'achèvement est délivrée ; son numéro est vérifiable sur la plateforme.

Les cours gratuits, eux, se concluent par un quiz de 5 questions avec un aperçu de l'attestation, sans certification.