Module 3 — Distillation et compression de connaissances
Le petit modèle brut du module 2 atteint un plafond : sur nos 200 tickets d'évaluation, il classe correctement 78 % des demandes, quand le grand modèle en API en classe 94 %. Seize points d'écart, c'est trop. La distillation est la technique qui va combler la plus grande partie de cet écart, sans que nous ayons à annoter des dizaines de milliers d'exemples à la main. Le principe est simple : le grand modèle nous prépare le jeu de données idéal, le petit modèle apprend dessus.
Deux modèles, deux rôles
Le modèle enseignant est un grand modèle disponible en API ou hébergé. Sa qualité est élevée, son coût par requête aussi. Nous acceptons de payer ce coût une seule fois, à la constitution du jeu d'entraînement.
Le modèle élève est le petit modèle que nous voulons déployer. Il ne verra jamais l'utilisateur final avant la fin de son affinage. Sa taille limite sa capacité mais aussi son coût, sa latence et son empreinte mémoire — les trois raisons qui nous ont fait ouvrir ce cours.
La distillation vise à transférer, non pas les poids de l'enseignant vers l'élève — ils sont incompatibles — mais la compétence de l'enseignant sur notre tâche à nous. Nous préparons des exemples entrée-sortie où la sortie est celle produite par l'enseignant, puis nous entraînons l'élève à imiter ces sorties.
Distillation par sorties dures
La version la plus simple s'appelle distillation par sorties dures : pour chaque ticket brut de notre corpus, nous demandons à l'enseignant sa catégorie et son résumé, puis nous entraînons l'élève à produire exactement les mêmes sorties. Le corpus peut faire 5 000 à 20 000 tickets non annotés, ce qui est plausible chez la plupart des entreprises.
Le budget se calcule facilement. À 0,3 centime par ticket en moyenne, 10 000 tickets coûtent 30 euros à l'enseignant. Les 10 000 paires ticket-résultat servent ensuite à un affinage LoRA (module 7) de 20 à 60 minutes sur un GPU d'entrée de gamme, pour environ 2 euros de calcul. Trente-deux euros au total, pour un jeu de données que nous possédons et pouvons réutiliser à chaque nouveau candidat de modèle élève.
Distillation par sorties douces
La version plus riche s'appelle distillation par sorties douces : au lieu de ne garder que la catégorie choisie par l'enseignant, nous récupérons la distribution de probabilité complète sur toutes les catégories. Cette distribution encode une information précieuse — quand l'enseignant hésite entre deux catégories proches, l'élève apprend cette hésitation plutôt qu'une décision arbitraire.
En pratique, l'accès à ces probabilités n'est disponible qu'avec des modèles enseignants ouverts qu'on exécute soi-même. Les grandes API commerciales n'exposent que les logprobs des jetons générés, ce qui suffit pour du texte libre mais pas pour une classification directe. Sauf accès particulier, la distillation par sorties dures reste la voie pratique en 2026.
Données synthétiques : le multiplicateur
Le vrai levier apparaît quand on demande à l'enseignant non seulement de traiter nos tickets, mais aussi d'en générer. Un prompt bien conçu produit 500 tickets synthétiques par appel, en variant vocabulaire, niveau d'exigence du client, langue et longueur. Ces tickets sont ensuite traités par le même enseignant, ce qui donne des paires entrée-sortie cohérentes et couvre des cas rares que notre corpus réel ne montre pas ou peu.
Attention à une dérive fréquente : la génération synthétique adopte vite un style monotone. Sans consignes de variation explicite, 80 % des tickets synthétiques commencent par « Bonjour, je rencontre un problème avec ». Un élève entraîné sur ce corpus classe parfaitement les tickets synthétiques et s'écroule sur les tickets réels. La contre-mesure est d'alterner tickets réels et tickets synthétiques dans un rapport 1 pour 3 maximum, et de mesurer toujours sur les 200 tickets réels intouchables.
Ce que la distillation ne fait pas
La distillation ne transfère que ce que l'enseignant sait déjà. Si le grand modèle se trompe systématiquement sur une catégorie parce qu'elle est spécifique à votre entreprise et absente de son corpus d'entraînement, l'élève reproduira la même erreur. La distillation ne remplace donc pas un jeu de vérités terrain relu par un expert humain sur les cas critiques — elle en réduit le volume nécessaire d'un facteur 20 à 50.
Elle ne compense pas non plus une taille d'élève trop réduite. Un élève de 300 millions de paramètres peut apprendre à classer, mais échouera à produire un résumé cohérent d'un ticket long. La taille de l'élève reste dictée par la complexité intrinsèque de la tâche, pas seulement par la qualité de l'enseignement reçu.
Après distillation, notre élève passe de 78 à 91 % sur les 200 tickets d'évaluation. C'est un gain de 13 points, obtenu pour 32 euros, en une journée de travail. C'est le calcul à refaire pour chaque projet ; le résultat varie selon la difficulté de la tâche et l'écart initial entre enseignant et élève.
En résumé
- La distillation transfère une compétence sur une tâche, pas des poids : l'enseignant fabrique le jeu d'entraînement, l'élève apprend dessus.
- Les sorties dures suffisent en pratique quand l'enseignant est une API commerciale ; les sorties douces demandent un enseignant ouvert exécuté chez soi.
- Les données synthétiques multiplient la couverture, à condition d'imposer une variation explicite pour éviter le style monotone qui piège l'élève.
- La distillation réduit d'un facteur 20 à 50 le volume d'annotations humaines nécessaires, sans les supprimer sur les cas critiques.
Module suivant : quand la distillation n'est même pas nécessaire, et qu'une simple quantification suffit à faire tenir le modèle sur le poste sans perte mesurable.