Aller au contenu principal

Grands modèles de langage

De la loi d'échelle qui explique la croissance des modèles à la mise en service d'un assistant à moindre coût, ce cours parcourt les décisions que l'on prend réellement quand on déploie un grand modèle de langage.

Durée du cours : 9h​

Ce que vous allez apprendre​

  • Distinguer ce que le passage à l'échelle change des effets purement anecdotiques
  • Situer les coûts de préentraînement, de calcul et de données à l'échelle actuelle
  • Affiner un modèle de base sur des instructions, puis l'aligner par RLHF ou DPO
  • Régler le décodage — température, top-k, top-p — selon l'usage
  • Gérer la fenêtre de contexte, les hallucinations et l'ancrage dans des sources
  • Quantifier un modèle et le servir avec vLLM ou llama.cpp
  • Construire un jeu d'évaluation métier fiable et éviter la contamination
  • Chiffrer le coût par requête et arbitrer entre API et auto-hébergement

Prérequis​

  • Transformers (cours 12)
  • Traitement automatique du langage (cours 13)
  • Python et manipulation de tenseurs (cours 07)

Modules du cours​

  1. Ce que change réellement le passage à l'échelle
  2. Préentraînement : données, jetons et lois d'échelle
  3. Affinage supervisé sur des instructions
  4. Alignement : RLHF et méthodes par préférences
  5. Décodage : température, top-k, top-p
  6. Fenêtre de contexte et gestion de la mémoire
  7. Hallucinations : causes et parades
  8. Quantification et service à moindre coût
  9. Évaluation : jeux de référence et jugements humains
  10. Coûts, latence et choix d'architecture

Fil rouge​

Le cours suit un projet unique : le déploiement d'un assistant de support client en français pour une entreprise de taille moyenne. Chaque module éclaire une décision de ce projet — quel modèle choisir, faut-il l'affiner, comment le servir, comment le mesurer — pour que la théorie serve à trancher, pas à décorer.

Le modèle de référence manipulé dans le code est un modèle ouvert de 7 à 8 milliards de paramètres en licence permissive, servi avec vLLM ou llama.cpp selon le module.

Évaluation et attestation​

Le parcours se termine par un examen de 40 questions qui couvre les dix modules. En cas de réussite, une attestation d'achèvement est délivrée ; son numéro est vérifiable sur la plateforme.

Les cours gratuits, eux, se concluent par un quiz de 5 questions avec un aperçu de l'attestation, sans certification.