Leçon 3 — La génération de texte : token par token
Le mécanisme est plus simple qu'on ne l'imagine
Un modèle de langue fait une seule chose : étant donné une suite de tokens, il produit une probabilité pour chaque token qui pourrait venir ensuite.
C'est tout. Il n'y a pas de plan, pas de brouillon, pas d'intention. Après « La capitale de la France est », le modèle attribue une probabilité très élevée à « Paris », une probabilité faible à « une », une probabilité négligeable à « brocoli ».
On tire un token dans cette distribution, on l'ajoute à la suite, et on recommence avec la séquence allongée. C'est le mécanisme autorégressif.
Une conséquence pratique importante : la génération est intrinsèquement séquentielle. On ne peut pas produire le dixième token avant le neuvième. C'est pourquoi la vitesse d'un modèle de langue se mesure en tokens par seconde et pourquoi elle ne se parallélise pas au sein d'une même réponse — contrairement à l'entraînement, qui se parallélise très bien grâce à l'attention.
Ce que règle la température
Le modèle donne des probabilités. Comment on y tire est un choix distinct, et ce choix change tout.
Si l'on prend systématiquement le token le plus probable — la stratégie gloutonne —, la sortie est déterministe. C'est très bien pour extraire une donnée, et catastrophique pour écrire : le texte devient plat, répétitif, et le modèle s'enferme volontiers dans des boucles.
La température modifie la distribution avant le tirage. Techniquement, elle divise les scores avant la fonction softmax, ce qui aplatit ou accentue les écarts.
| Température | Comportement | Usage adapté |
|---|---|---|
| 0 | quasi déterministe, toujours le plus probable | extraction, classification, code, données structurées |
| 0,2 à 0,4 | légèrement varié, très fidèle | réponses factuelles, résumé, traduction |
| 0,7 à 0,9 | varié et cohérent | rédaction, dialogue, brainstorming |
| 1,2 et plus | inventif et incohérent | exploration, rarement utile en production |
Le réglage le plus fréquemment mal choisi. Beaucoup de systèmes en production tournent avec la température par défaut, autour de 0,7, alors qu'ils font de l'extraction de données. Le résultat est une variabilité inexpliquée d'un appel à l'autre. Pour toute tâche où la même entrée doit donner la même sortie, mettez la température à 0.
Le top-p, ou échantillonnage par noyau, est un second levier : on ne considère que les tokens dont les probabilités cumulées atteignent un seuil, par exemple 0,9, et on ignore la longue traîne. Cela évite qu'un token absurde soit tiré par malchance. En pratique, on règle la température et on laisse le top-p à sa valeur par défaut.
Pourquoi un modèle invente des faits
C'est le point le plus important de cette leçon, et il découle directement du mécanisme.
Le modèle produit le token le plus vraisemblable. Rien, absolument rien dans son fonctionnement ne distingue une affirmation vraie d'une affirmation plausible.
Demandez une référence bibliographique sur un sujet pointu. Le modèle a appris à quoi ressemble une référence : un titre en style académique, des noms d'auteurs, une revue, une année, une pagination. Il produit tout cela, parfaitement formé. L'article peut ne pas exister.
Le mot « hallucination » suggère un dysfonctionnement. C'est un abus de langage. Le modèle fonctionne exactement comme prévu : il complète de façon vraisemblable. Le problème est que nous attendions de la vérité d'un système qui optimise la vraisemblance.
Sa déclaration de confiance est produite par le même mécanisme que le reste : c'est le texte vraisemblable après « es-tu sûr ». Un modèle affirme avec exactement le même aplomb ce qu'il sait et ce qu'il fabrique. La confiance exprimée n'est pas corrélée à l'exactitude.
Ce qui réduit réellement le problème :
- Fournir les documents dans la consigne et exiger que la réponse s'y limite. C'est le principe du RAG, détaillé dans le cours sur les grands modèles de langage.
- Demander des citations vérifiables et les vérifier, ce qui rend l'erreur détectable.
- Autoriser explicitement l'aveu d'ignorance : « si l'information n'est pas dans les documents fournis, réponds que tu ne sais pas ». Cela fonctionne, partiellement.
- Baisser la température, ce qui réduit les dérives sans les supprimer.
Ce qui ne marche pas : le supplier de ne pas se tromper.
La fenêtre de contexte, et son illusion
La fenêtre de contexte est le nombre maximal de tokens que le modèle traite en une fois : consigne, documents fournis, historique de conversation et réponse en cours de production, tout compris.
Les modèles récents annoncent des fenêtres de plusieurs centaines de milliers de tokens. C'est réel et cela mérite deux nuances importantes.
Le coût est quadratique. Le mécanisme d'attention fait que chaque token regarde tous les autres. Doubler la longueur du contexte quadruple le calcul. Une fenêtre immense est techniquement disponible et économiquement coûteuse.
L'information au milieu est mal exploitée. Des travaux répétés montrent le même phénomène : les modèles retiennent bien ce qui se trouve au début et à la fin du contexte, et négligent le milieu. Placer un document crucial au centre de deux cents pages est le meilleur moyen qu'il soit ignoré.
Conséquence pratique : la sélection de ce qu'on met dans le contexte compte davantage que la taille de la fenêtre. Mieux vaut cinq passages pertinents que trois cents pages exhaustives.
Ce que le modèle ne peut structurellement pas faire
Revenir sur ce qu'il a écrit. La génération avance. Un modèle qui commence une réponse par une affirmation fausse va construire la suite dessus, par cohérence. C'est pourquoi demander de « réfléchir étape par étape » avant de conclure améliore réellement les résultats : le raisonnement écrit devient un contexte sur lequel la conclusion s'appuie.
Compter ou calculer de façon fiable. Les nombres sont tokenisés de façon irrégulière, comme vu dans le cours de NLP, et le modèle ne dispose d'aucun mécanisme arithmétique. La bonne réponse est de lui donner un outil : faire produire un calcul exécutable plutôt que le résultat.
Savoir ce qui s'est passé après son entraînement. Le modèle a une date de coupure. Sans accès à une source externe, il répondra sur l'état du monde à cette date, avec assurance.
À retenir
- Un modèle de langue prédit une distribution sur le token suivant, puis on tire et on recommence : c'est tout le mécanisme.
- La génération est séquentielle, donc lente ; elle ne se parallélise pas au sein d'une réponse.
- La température contrôle la prise de risque : 0 pour l'extraction et le code, 0,7 à 0,9 pour la rédaction.
- Le modèle ne distingue pas le vrai du plausible ; les faits inventés sont un mode de fonctionnement normal.
- Lui demander s'il est sûr n'apporte aucune information : sa confiance n'est pas corrélée à l'exactitude.
- La fenêtre de contexte coûte de façon quadratique, et l'information placée au milieu est mal exploitée.
- Faire raisonner avant de conclure améliore les résultats, parce que le modèle ne peut pas revenir en arrière.
Leçon suivante — Bien s'en servir : les pratiques qui donnent des résultats reproductibles →