Leçon 1 — Ce qu'est un grand modèle de langage
Le mécanisme, sans détour
Un grand modèle de langage est un réseau à transformeurs, décrit dans le cours de deep learning, doté de milliards de paramètres, entraîné à faire une seule chose : prédire le token suivant.
Il n'y a rien d'autre. Pas de module de raisonnement, pas de base de connaissances interrogée, pas de vérificateur de faits, pas de plan élaboré avant de répondre. Une suite de tokens entre, une distribution de probabilité sur le token suivant sort, on tire, on recommence — comme détaillé dans le cours d'IA générative.
La question légitime est : comment une tâche aussi pauvre produit-elle un comportement aussi riche ?
Pourquoi prédire le mot suivant suffit à tant de choses
Parce que bien prédire exige de comprendre beaucoup.
Pour compléter correctement « la clé était tombée dans la grille, il ne pouvait donc pas », il faut avoir capté qu'une clé ouvre, qu'une grille avale, et qu'un objet inaccessible empêche l'action. Pour compléter « le patient présentait une fièvre à 39 degrés et une toux persistante ; le médecin a prescrit », il faut avoir capté des régularités médicales. Pour compléter la dernière ligne d'une démonstration, il faut avoir capté la forme d'un raisonnement.
La prédiction du token suivant est une tâche prétexte extraordinairement efficace : elle est disponible en quantité illimitée, elle ne demande aucune annotation, et bien la réussir contraint à extraire la structure du monde telle qu'elle se manifeste dans le texte.
C'est le même principe que les plongements vus dans le cours de NLP, poussé à une échelle qui change la nature du résultat.
Ce que contiennent les paramètres
Un modèle de plusieurs dizaines de milliards de paramètres pèse quelques dizaines de gigaoctets. Ces nombres sont figés après l'entraînement : ils ne changent pas quand vous discutez avec le modèle.
Ce qu'ils encodent, approximativement :
- La grammaire et la structure des langues rencontrées.
- Les faits fréquents — la capitale de la France, la formule de l'eau — mais de façon diffuse et non fiable. Un fait apparu trois fois dans le corpus n'est pas mémorisé ; un fait apparu un million de fois l'est presque toujours.
- Des structures de raisonnement : la forme d'une démonstration, d'un diagnostic, d'un argumentaire.
- Des styles et des registres, ce qui explique la facilité à changer de ton sur demande.
Le modèle ne consulte rien au moment de répondre. Tout vient de ses paramètres et du texte que vous lui avez fourni. Cela a trois conséquences directes.
Il ne connaît rien de ce qui s'est passé après sa date de coupure. Il ne connaît rien de vos données internes. Et il n'a aucune mémoire d'une conversation à l'autre : si un système semble se souvenir de vous, c'est qu'un mécanisme externe réinjecte l'historique dans le contexte.
Toute architecture qui suppose le contraire produira des erreurs en production.
Ce que la taille change, et ce qu'elle ne change pas
Les lois d'échelle, établies vers 2020, ont montré une régularité remarquable : la performance s'améliore de façon prévisible avec la taille du modèle, la quantité de données et le calcul investi. C'est ce qui a déclenché la course aux modèles géants.
Un résultat important est venu corriger cette course. À budget de calcul donné, un modèle plus petit entraîné sur davantage de données bat un modèle plus gros sous-entraîné. Beaucoup de grands modèles de la première vague étaient mal dimensionnés, et la direction actuelle privilégie des modèles plus petits, mieux entraînés, souvent spécialisés.
Ce que la taille apporte, en pratique : une meilleure tenue sur les tâches longues et à plusieurs étapes, une meilleure couverture des langues peu dotées, une meilleure robustesse aux formulations inhabituelles.
Ce que la taille n'apporte pas : la fiabilité factuelle. Un modèle plus gros invente des faits plus crédibles, ce qui est parfois pire. Aucune taille ne supprime le problème, parce qu'il vient du mécanisme, pas de la capacité.
Conséquence pratique pour vos projets : sur une tâche de classification ou d'extraction, un modèle de quelques milliards de paramètres est souvent aussi bon qu'un modèle cent fois plus gros, pour un coût dérisoire. Réservez les grands modèles au raisonnement difficile.
Quatre affirmations courantes, corrigées
« Le modèle cherche sur internet. » Non, sauf si le produit que vous utilisez a explicitement branché un outil de recherche et vous le signale. Le modèle nu n'a aucun accès réseau.
« Le modèle apprend de nos conversations. » Pas en direct. Les paramètres sont figés. Vos échanges peuvent servir à un entraînement ultérieur si les conditions du fournisseur le prévoient — ce qui est un enjeu de confidentialité réel —, mais le modèle ne s'améliore pas au fil de la discussion.
« Le modèle comprend ce qu'il dit. » Il capte suffisamment de structure pour être utile sur énormément de tâches, et il n'a ni intention, ni modèle du monde, ni moyen de constater qu'une de ses affirmations est impossible. C'est pourquoi il ne peut pas signaler ses propres erreurs.
« Un modèle plus récent ne se trompera plus. » Les progrès sont réels sur le raisonnement, le suivi d'instructions et la robustesse. La production d'affirmations fausses avec assurance reste structurelle. Concevez pour l'erreur.
Ce que le mécanisme implique pour vos projets
Trois conséquences architecturales découlent directement de ce qui précède.
Toute connaissance qui doit être exacte doit être fournie, pas espérée. C'est la justification du RAG, objet de la leçon 3.
Toute action doit passer par un outil explicite. Le modèle ne peut pas calculer de façon fiable ni consulter une base ; il peut en revanche décider d'appeler une fonction qui le fait. C'est l'objet de la leçon 4.
Toute sortie qui déclenche une conséquence doit être vérifiée. Par une règle automatique, par un schéma de validation, ou par un humain. Le modèle ne vous avertira pas qu'il s'est trompé.
À retenir
- Un LLM est un transformeur entraîné à prédire le token suivant ; il n'y a aucun autre mécanisme.
- Cette tâche prétexte suffit parce que bien prédire exige de capter la structure du texte — grammaire, faits, raisonnements, styles.
- Les paramètres sont figés : aucune base consultée, aucune connaissance postérieure à la coupure, aucune mémoire entre sessions.
- La taille améliore la robustesse et les tâches longues ; elle n'améliore pas la fiabilité factuelle.
- Un petit modèle suffit pour la classification et l'extraction ; réservez les grands au raisonnement difficile.
- Conséquences architecturales : fournir la connaissance, passer par des outils, vérifier les sorties.
Leçon suivante — Les trois étapes de l'entraînement →