Leçon 5 — Où le NLP échoue encore
Cette leçon est la plus utile du cours. Les réussites du NLP sont abondamment documentées ; ses limites sont ce qui fait échouer les projets.
1. Le modèle ne sait pas qu'il ne sait pas
Un modèle de langue produit le mot suivant le plus vraisemblable. Rien dans ce mécanisme ne distingue une affirmation exacte d'une affirmation plausible. Demandez une référence bibliographique sur un sujet pointu : vous obtiendrez un titre crédible, des auteurs plausibles, une revue existante et une année cohérente. L'article peut ne pas exister.
Le terme « hallucination » est trompeur car il suggère un dysfonctionnement. C'est le fonctionnement normal. Le modèle a appris la forme des références bibliographiques ; il en produit une. Il n'a aucun mécanisme pour vérifier l'existence de ce qu'il décrit.
Ce qui atténue le problème : ancrer les réponses dans des documents fournis et exiger des citations vérifiables, c'est-à-dire le RAG. Ce qui ne le règle pas : demander au modèle s'il est sûr. Sa déclaration de confiance est produite par le même mécanisme que le reste, et un modèle affirme avec le même aplomb ce qu'il sait et ce qu'il invente.
2. Les biais du corpus deviennent des décisions
Les modèles sont entraînés sur du texte écrit par des humains, qui reflète les régularités sociales de son époque et de son milieu. Ces régularités se retrouvent dans la géométrie des plongements, puis dans les décisions.
Le cas le plus documenté : les plongements classiques placent certains métiers plus près des marqueurs de genre masculins ou féminins, non par choix mais parce que les textes le font. Un système de présélection de candidatures construit dessus reproduit l'association, et il le fait de façon systématique et à grande échelle, là où un biais humain reste ponctuel.
Retirer le genre ou l'origine des données d'entrée ne supprime pas le biais. Le prénom, l'établissement de formation, le quartier, le vocabulaire employé et même la longueur des phrases sont des variables corrélées qui le reconstituent. Le biais se traite en mesurant les écarts de performance entre sous-groupes, pas en masquant des colonnes.
Le cours sur l'éthique de l'IA traite ce sujet avec les définitions formelles d'équité et les obligations réglementaires.
3. Toutes les langues ne sont pas servies également
Environ 7 000 langues sont parlées dans le monde. Le NLP fonctionne bien sur une vingtaine.
La cause est mécanique : la qualité dépend du volume de texte numérisé disponible. L'anglais en compte des centaines de milliards de mots ; beaucoup de langues africaines et asiatiques en comptent quelques millions, parfois moins.
Les conséquences se cumulent. La qualité de traduction est nettement inférieure. Les tokeniseurs, calibrés sur l'anglais, fragmentent davantage les autres langues, ce qui augmente le coût et réduit le contexte utile. Les jeux d'évaluation sont rares, donc on mesure mal. Et les dialectes régionaux sont presque toujours ignorés au profit d'une variante standard.
Le français est bien doté sans être au niveau de l'anglais : attendez-vous à un écart de performance réel, en particulier sur les tâches spécialisées et sur le français non métropolitain.
4. Les données réelles ne ressemblent pas aux données d'entraînement
Un modèle entraîné sur des articles de presse et des pages web propres rencontre en production autre chose : des fautes de frappe, du langage abrégé, du vocabulaire interne à l'entreprise, du texte mal extrait d'un PDF, des mélanges de langues dans une même phrase, des retours à la ligne parasites.
Une baisse de performance de dix à trente points entre l'évaluation et la production est courante, et elle n'a rien d'anormal.
Ce qui aide vraiment : évaluer sur vos données réelles dès le premier jour, pas sur un jeu public ; investir dans le nettoyage en amont, qui rapporte plus que le changement de modèle ; et affiner sur des exemples issus de votre propre flux, même en petit nombre.
5. Les scores publiés surestiment les performances
Trois raisons distinctes, qui se cumulent.
La contamination des jeux de test. Les modèles sont entraînés sur d'immenses volumes de texte aspirés du web. Les jeux d'évaluation publics circulent sur le web. Une partie des questions de test a donc été vue à l'entraînement, et le score mesure en partie de la mémorisation.
Les métriques mesurent le recouvrement, pas la qualité. BLEU et ROUGE comparent des mots avec une référence. Une traduction excellente formulée autrement obtient un mauvais score ; une traduction médiocre qui recopie les bons mots obtient un bon score.
Les jeux publics sont propres et vos données ne le sont pas. Un score obtenu sur un corpus soigneusement annoté ne dit presque rien de la performance sur vos tickets clients.
Conclusion pratique : ne choisissez jamais un modèle sur un classement public. Constituez un petit jeu de test issu de vos données — 200 à 500 exemples annotés soigneusement suffisent — et comparez les candidats dessus. Cette journée de travail est le meilleur investissement d'un projet NLP.
6. Ce que le NLP ne fait pas du tout
Pour finir, quelques capacités qu'on prête aux systèmes de langage et qu'ils n'ont pas.
Raisonner de façon fiable sur de longs documents. Un modèle avec une grande fenêtre de contexte peut techniquement ingérer trois cents pages. Sa capacité à croiser une information de la page 12 avec une information de la page 280 reste très inférieure à ce que la taille de la fenêtre suggère.
Savoir ce qui s'est passé après son entraînement. Le modèle a une date de coupure. Sans accès à une source externe, il répondra sur l'état du monde à cette date, avec assurance.
Comprendre ce qu'il n'a jamais vu écrit. Le savoir tacite de votre organisation, ce que personne n'a documenté, est hors d'atteinte. C'est souvent l'essentiel.
À retenir
- Un modèle ne distingue pas le vrai du plausible ; les faits inventés sont un mode de fonctionnement, pas un bug.
- Les biais des corpus deviennent des décisions systématiques, et retirer une variable ne les supprime pas.
- Le NLP sert bien une vingtaine de langues sur sept mille, et la fracture s'auto-entretient.
- Attendez une chute de performance importante entre évaluation et production ; évaluez sur vos données.
- Les scores publics sont surestimés : contamination, métriques faibles, données propres.
- Restent hors de portée : le raisonnement fiable sur documents longs, l'actualité, et le savoir non écrit.
Leçon suivante — Récapitulatif, glossaire et FAQ →