Leçon 4 — Les tâches : à quoi sert vraiment le NLP
Une carte avant les détails
Le NLP recouvre une trentaine de tâches nommées. Elles se ramènent à quatre familles, et savoir dans laquelle tombe votre problème détermine le modèle à choisir, les données à réunir et la métrique à surveiller.
Famille 1 — Classer
On attribue à un texte une ou plusieurs étiquettes prises dans un ensemble fini.
L'analyse de sentiment détermine si un avis est positif, négatif ou neutre. C'est la tâche la plus connue, et aussi la plus souvent mal évaluée : l'ironie, la comparaison implicite et la négation partielle piègent régulièrement les modèles. « Le service était rapide, contrairement à la dernière fois » n'est pas simple.
Le routage de tickets envoie une demande vers la bonne équipe. C'est un cas d'usage moins spectaculaire et beaucoup plus rentable, avec un retour sur investissement mesurable dès quelques milliers de tickets par mois.
La détection de spam, de contenu toxique, de langue relèvent de la même mécanique.
État de l'art pratique : un modèle pré-entraîné affiné sur quelques centaines à quelques milliers d'exemples annotés atteint des performances de production. Inutile de sortir un grand modèle de langue : un classifieur dédié est plus précis sur la tâche, dix à cent fois moins cher, et ses sorties sont contraintes à l'ensemble d'étiquettes prévu.
Métriques : celles de la classification vues dans le cours de machine learning — précision, rappel, F1 par classe, matrice de confusion. Jamais l'exactitude globale seule si les classes sont déséquilibrées.
Famille 2 — Extraire
On repère et on structure de l'information contenue dans le texte.
La reconnaissance d'entités nommées identifie les personnes, organisations, lieux, dates, montants. C'est la brique de base de tout traitement documentaire : dépouiller des contrats, anonymiser des dossiers, alimenter une base à partir de courriels.
L'extraction de relations va plus loin et relie les entités : « telle personne dirige telle société depuis telle date ».
La réponse extractive à des questions localise dans un document le passage qui répond à une question. À distinguer nettement de la génération : ici le système ne produit rien, il désigne un extrait, ce qui le rend vérifiable et donc bien plus sûr.
État de l'art pratique : très bon sur les entités standard en français, plus fragile sur les entités spécialisées — références de produits, terminologie médicale, dénominations juridiques — où l'annotation d'un jeu de données maison reste nécessaire.
Métriques : F1 sur les spans, en distinguant la correspondance exacte de la correspondance partielle. Un système qui trouve « Marie Dupont » là où il fallait « Marie Dupont-Martin » n'a pas tout à fait raison.
Famille 3 — Transformer
On produit un texte à partir d'un texte, en préservant le sens.
La traduction automatique est mûre entre langues bien dotées. Français, anglais, espagnol, allemand, chinois : la qualité est suffisante pour un usage professionnel avec relecture. Sur les paires rares, la qualité chute brutalement, et les systèmes passent souvent par l'anglais comme pivot, ce qui accumule les pertes.
Le résumé se décline en deux formes qu'il ne faut pas confondre. Le résumé extractif sélectionne les phrases les plus importantes du document : il ne peut rien inventer, c'est sa garantie. Le résumé abstractif reformule : il lit mieux et peut introduire des affirmations absentes de la source. Dans un contexte réglementé, l'extractif est souvent le seul acceptable.
La reformulation et la correction — simplifier, adapter le registre, corriger la langue — fonctionnent bien et constituent l'un des usages les plus immédiatement utiles.
Métriques : les scores automatiques comme BLEU ou ROUGE mesurent le recouvrement de mots avec une référence. Ils sont commodes et ils corrèlent médiocrement avec le jugement humain. Une évaluation humaine sur un échantillon reste indispensable avant de mettre en production.
Famille 4 — Générer
On produit du texte nouveau : rédaction, dialogue, réponse ouverte, code.
C'est le domaine des grands modèles de langue, traité dans le cours dédié. Deux points suffisent ici.
La fluidité n'est pas la fiabilité. Un texte généré est grammaticalement impeccable et peut être factuellement faux. Le modèle optimise la vraisemblance de la suite de mots, pas la vérité. Rien dans son fonctionnement ne distingue une affirmation exacte d'une affirmation plausible.
La génération n'est pas vérifiable par construction. Contrairement à l'extraction, où l'on peut pointer le passage source, une réponse générée demande une vérification externe. C'est précisément le rôle du RAG : ancrer la génération dans des documents que l'on peut citer.
Métriques : aucune métrique automatique satisfaisante. On évalue par jury humain, par comparaison de paires, ou par vérification factuelle sur un jeu de tests soigneusement construit.
Le tableau de décision
| Votre besoin | Famille | Approche recommandée | Fiabilité |
|---|---|---|---|
| Trier des avis clients | Classer | classifieur affiné | élevée |
| Router des tickets | Classer | classifieur affiné | élevée |
| Extraire des données de contrats | Extraire | reconnaissance d'entités affinée | bonne, relecture requise |
| Anonymiser des dossiers | Extraire | entités nommées + règles | bonne, jamais sans contrôle |
| Traduire de la documentation | Transformer | modèle de traduction ou LLM | élevée si langue bien dotée |
| Résumer des comptes rendus | Transformer | extractif si enjeu, abstractif sinon | variable |
| Répondre sur une base documentaire | Générer | RAG avec citations | moyenne, exige les sources |
| Rédiger des brouillons | Générer | LLM | outil d'assistance uniquement |
Cherchez d'abord à reformuler votre problème en classification ou en extraction. Ces deux familles sont fiables, mesurables et peu coûteuses. Beaucoup de projets partis sur de la génération auraient été plus simples, plus sûrs et moins chers en classification. Ne générez que lorsque la sortie doit réellement être un texte nouveau.
À retenir
- Quatre familles : classer, extraire, transformer, générer, par ordre décroissant de fiabilité.
- La classification est mûre et peu coûteuse ; c'est là que se trouvent la plupart des gains rapides.
- L'extraction est solide sur les entités standard, à annoter soi-même sur les entités métier.
- La traduction est excellente entre langues bien dotées, médiocre ailleurs.
- La génération est fluide sans être fiable, et n'est pas vérifiable sans ancrage documentaire.
- Les métriques automatiques de transformation et de génération sont faiblement corrélées au jugement humain : gardez une évaluation humaine.
Leçon suivante — Où le NLP échoue encore →