Leçon 4 — Comment une machine apprend vraiment
« La machine apprend » est une formule qui masque le mécanisme. Il n'y a là aucune magie, et aucune compréhension non plus. Il y a un très grand nombre de petits ajustements numériques, répétés jusqu'à ce que les erreurs cessent de diminuer. Cette leçon parcourt la boucle, sans une seule équation.
Les ingrédients
Tout système d'apprentissage supervisé comporte quatre pièces, et il vaut la peine de les nommer parce que ce vocabulaire revient sans arrêt.
Le jeu de données — des exemples, chacun accompagné de la bonne réponse. Dix mille photographies étiquetées « chat » ou « chien ». Cinquante mille demandes de prêt étiquetées « remboursé » ou « défaut de paiement ».
Le modèle — une fonction mathématique munie de molettes réglables. Un modèle simple en a une poignée ; un grand modèle de langage en a des centaines de milliards. Ces molettes s'appellent des paramètres ou des poids, et au départ elles sont réglées sur des valeurs aléatoires : la sortie du modèle est donc du pur bruit.
La fonction de perte — une manière de noter à quel point le modèle se trompe sur un exemple. Prédire « chien » avec 90 % de confiance sur une photo de chat produit une perte élevée. Prédire « chat » avec 85 % de confiance en produit une faible. La perte transforme « se tromper » en un nombre sur lequel on peut agir.
L'optimiseur — la procédure qui pousse chaque paramètre dans la direction qui réduit la perte.
La boucle
Cette boucle tourne des milliers ou des millions de fois. Rien d'autre ne se produit. Il n'y a pas d'instant d'illumination, pas de représentation de la « félinité » que l'on formerait exprès. Il y a un score qu'on pousse vers le bas, un petit pas à la fois.
L'analogie qui fait comprendre
Imaginez-vous à flanc de colline dans un brouillard épais, cherchant à rejoindre le fond de la vallée. Vous ne voyez pas le bas. Ce que vous sentez, c'est la pente sous vos pieds. Vous faites donc un pas dans la direction de la descente la plus forte, vous tâtez de nouveau, vous avancez encore.
C'est la descente de gradient, et c'est réellement tout ce qu'est l'entraînement. La « pente » est la direction dans laquelle modifier chaque paramètre réduirait le plus la perte. La taille de votre pas est le taux d'apprentissage : des pas trop petits et vous n'arrivez jamais ; trop grands et vous enjambez la vallée pour vous retrouver sur le versant d'en face.
Le brouillard compte dans l'analogie. L'optimiseur n'a aucune carte du paysage entier. Il ne connaît que la pente là où il se trouve, ce qui explique que l'entraînement puisse s'installer dans un creux peu profond plutôt qu'au vrai fond, et qu'il ne converge pas toujours deux fois au même endroit.
Pourquoi tant de données
C'est ici que l'appétit en données devient évident. Chaque exemple apporte une petite correction aux paramètres. Un modèle doté d'un million de paramètres et de mille exemples a beaucoup plus de molettes que de preuves : de nombreux réglages différents collent parfaitement à ces mille exemples, et le modèle n'a aucun moyen de savoir lequel reflète la réalité.
Donnez-lui un million d'exemples et les réglages contradictoires s'éliminent. Seules survivent les configurations compatibles avec un corps de preuves vaste et varié.
En règle de travail approximative, un modèle classique sur données tabulaires demande des centaines à quelques milliers de lignes. Un classifieur d'images entraîné de zéro veut des milliers d'exemples par classe. Un grand modèle de langage est entraîné sur des milliers de milliards de mots. Si vous avez trois cents exemples et que l'on vous propose un réseau profond, le problème est le nombre d'exemples, pas l'architecture.
Le surapprentissage, l'échec qui piège tout le monde
C'est l'idée la plus importante de cette leçon, et la raison pour laquelle les projets de machine learning échouent d'une façon invisible jusqu'à ce qu'il soit trop tard.
Un modèle peut atteindre une précision parfaite sur ses données d'entraînement et ne rien valoir sur du nouveau. Cela survient quand le modèle, au lieu de capturer le motif général, mémorise les exemples précis — bruit et accidents compris.
L'illustration classique : un modèle entraîné à distinguer les loups des huskys atteignait une précision impressionnante. L'inspection a révélé qu'il avait appris à détecter la neige. Presque toutes les photos de loups du jeu de données avaient un arrière-plan enneigé, et presque aucune photo de husky. Sur le jeu d'entraînement, le raccourci fonctionnait parfaitement. Sur un husky dans la neige, il échouait complètement.
Le modèle n'a rien fait de mal. Il a trouvé le signal le plus facile séparant les deux piles. C'est le jeu de données qui était trompeur.
Comment on l'attrape
La défense est procédurale et non négociable : découper les données avant l'entraînement.
- Jeu d'entraînement, environ 70 % : le modèle apprend là-dessus.
- Jeu de validation, environ 15 % : sert à régler les paramètres et à décider quand s'arrêter.
- Jeu de test, environ 15 % : mis sous clé et touché exactement une fois, à la toute fin.
Si la précision est de 99 % sur l'entraînement et de 71 % sur le test, le modèle a mémorisé au lieu d'apprendre. Cet écart est le diagnostic.
| Symptôme | Diagnostic | Remède habituel |
|---|---|---|
| Mauvais à l'entraînement, mauvais au test | sous-apprentissage — modèle trop simple | un modèle plus riche, de meilleures variables |
| Excellent à l'entraînement, mauvais au test | surapprentissage — mémorisation | plus de données, simplifier, régulariser |
| Bon sur les deux | apprentissage réel | déployer, puis surveiller |
Regarder le jeu de test pour guider vos choix en détruit la raison d'être. Dès que vous l'avez utilisé pour trancher entre deux modèles, il est devenu un jeu de validation et il ne donne plus une estimation honnête des performances réelles. Des équipes le font sans s'en apercevoir, puis s'étonnent que la précision en production soit dix points sous le chiffre de la présentation.
La prédiction, une fois l'entraînement fini
L'entraînement est coûteux et n'a lieu qu'une fois, ou de temps en temps. L'inférence — l'usage du modèle entraîné — est bon marché et a lieu en permanence. Les paramètres sont gelés ; une nouvelle entrée arrive, une prédiction sort en quelques millisecondes.
Deux conséquences en découlent, et les deux surprennent.
Un modèle déployé n'apprend pas de son usage. À moins d'être réentraîné explicitement, la version qui répond à votre requête aujourd'hui est identique à celle mise en service le mois dernier. Elle ne s'améliore pas parce qu'on l'utilise.
Un modèle se dégrade sans changer. Le monde bouge : les comportements clients se déplacent, les schémas de fraude évoluent, le vocabulaire dérive. Le modèle reste là où il a été entraîné. C'est la dérive, et c'est pourquoi on surveille les modèles et on les réentraîne périodiquement. Le cours MLOps traite exactement ce problème.
En trois phrases
L'entraînement est une boucle qui note les erreurs du modèle sous forme de nombre et pousse chaque paramètre vers le bas contre ce score, des millions de fois, sans qu'aucune intuition n'intervienne. Il faut beaucoup de données parce que chaque exemple n'est qu'une petite correction, et que trop peu d'exemples laissent le modèle mémoriser au lieu de généraliser. Cet échec, le surapprentissage, n'est visible que si vous réservez un jeu de test et n'y jetez jamais un œil.