Module 9 — Réussites documentées et échecs célèbres
Le domaine produit deux littératures : des communiqués de victoire et des autopsies d'échecs. Les deux sont instructives — à condition de chercher les schémas récurrents plutôt que les anecdotes. Ce module en dégage une grille d'analyse applicable à n'importe quel projet, y compris les vôtres.
Ce que les réussites durables ont en commun
Les déploiements qui créent de la valeur depuis des années — détection de fraude bancaire, recommandation de contenus, traduction automatique, maintenance prédictive industrielle, tri de courriels — partagent cinq traits, avec une régularité frappante.
Une tâche étroite et stable. Classer, ordonner, estimer : un périmètre délimité (module 3), une définition du succès qui ne bouge pas tous les trimestres.
Des données abondantes et régénérées. L'activité elle-même produit les exemples et les étiquettes, en continu : chaque transaction, chaque clic, chaque panne enrichit le jeu d'entraînement. Pas de chantier d'annotation à répéter.
Une tolérance à l'erreur organisée. Aucun de ces systèmes n'est parfait ; tous sont conçus pour se tromper sans catastrophe : la recommandation ratée s'ignore, la transaction suspecte passe en vérification humaine, l'alerte de maintenance déclenche une inspection et non un arrêt d'usine. L'erreur est absorbée par le processus.
Un humain au bon endroit. Soit dans la boucle (l'alerte est instruite par un analyste), soit sur la boucle (le système agit seul, l'humain surveille les agrégats et peut débrancher).
Une amélioration continue. Surveillance, réentraînement, tests contrôlés : le modèle est un produit vivant, pas un livrable.
L'anatomie des échecs célèbres
Les échecs publics du domaine sont bien documentés ; en voici quatre familles, chacune portée par un cas emblématique.
Le biais appris puis amplifié. Un grand groupe technologique a abandonné son outil de tri de CV après avoir constaté qu'il pénalisait systématiquement les candidatures féminines : entraîné sur dix ans de recrutements passés, majoritairement masculins, il avait appris que « masculin » corrélait avec « embauché » — jusqu'à dévaloriser le mot « féminin » dans les CV. Le schéma : les données historiques encodent les pratiques passées ; le modèle les reproduit avec constance et à grande échelle. Aucun correctif cosmétique n'a suffi ; le projet a été arrêté.
La boucle de rétroaction toxique. Un agent conversationnel public, conçu pour apprendre de ses interactions, est devenu injurieux en moins de vingt-quatre heures sous l'action coordonnée d'utilisateurs malveillants. Le schéma : un système qui apprend en continu de son environnement peut être attaqué par cet environnement. L'apprentissage continu exige des garde-fous que le lancement n'avait pas prévus.
La métrique optimisée contre l'objectif. Des systèmes de recommandation optimisés sur le temps de visionnage ont favorisé les contenus les plus extrêmes — non par intention, mais parce que l'engagement mesuré n'est pas la satisfaction visée (module 7). Des années de correctifs ont suivi. Le schéma se retrouve, en miniature, dans tout projet dont la métrique est un substitut commode de l'objectif réel.
Le déploiement au-delà du domaine de validité. Des systèmes de reconnaissance faciale, précis sur leurs jeux d'évaluation, se sont révélés nettement moins fiables sur les visages sous-représentés dans les données d'entraînement — avec des conséquences graves en contexte policier. Des outils d'aide au diagnostic, excellents dans l'hôpital qui les a conçus, ont échoué dans d'autres établissements aux équipements différents. Le schéma : la performance mesurée ne vaut que sur la distribution mesurée (module 5) ; l'écart entre le laboratoire et le terrain se paie comptant.
Aucun n'est une défaillance d'algorithme. Ce sont des défaillances de conception d'ensemble : données non questionnées, métrique mal choisie, absence de garde-fous, validation trop étroite. La technique fonctionnait ; le système — au sens large, humains et processus compris — était mal pensé. C'est une bonne nouvelle déguisée : ces échecs s'évitent par la méthode, pas par le génie.
La grille d'analyse en cinq questions
Devant tout projet — le vôtre, celui d'un fournisseur, celui d'un concurrent — cinq questions résument les modules précédents :
- La tâche : est-elle étroite, stable, définie par une décision en aval ? (modules 3 et 8)
- Les données : d'où viennent-elles, qu'encodent-elles comme pratiques passées, couvrent-elles le terrain réel ? (modules 6 et 9)
- La métrique : mesure-t-elle l'objectif ou un substitut commode ? Qui a chiffré le coût des deux erreurs ? (module 7)
- L'erreur : que se passe-t-il concrètement quand le système se trompe — et l'organisation l'absorbe-t-elle ? (ce module)
- La durée : qui surveille la dérive, avec quels seuils et quel plan de réentraînement ? (module 8)
Un projet qui répond clairement aux cinq a le profil des réussites durables. Chaque réponse vague est un risque nommé — et donc gérable.
Ce qu'il faut retenir
- Les réussites durables : tâche étroite, données régénérées par l'activité, erreur absorbée par le processus, humain bien placé, amélioration continue.
- Les échecs célèbres suivent quatre schémas : biais appris, boucle de rétroaction, métrique-substitut, sortie du domaine de validité — tous évitables par la méthode.
- Les échecs sont des défaillances de conception d'ensemble, pas d'algorithme.
- La grille des cinq questions — tâche, données, métrique, erreur, durée — s'applique à tout projet en une réunion.
Dernier module de cours : les limites actuelles de la technologie, et les pistes de progrès qui structurent la recherche — pour finir avec une vision d'ensemble à jour.