Module 5 — Surapprentissage et sous-apprentissage

Le module précédent a montré la mécanique : minimiser une perte sur des exemples. Ce module traite la question qui décide du sort d'un projet : le modèle sera-t-il bon sur les cas qu'il n'a jamais vus ? Cette capacité s'appelle la généralisation, et elle échoue de deux façons opposées.

L'objectif réel n'est pas celui qu'on optimise

Relisons la procédure d'entraînement avec un œil critique. On minimise l'erreur sur les données d'entraînement. Mais ce qu'on veut, c'est un modèle juste sur les données futures — les clients de demain, les images de demain. L'entraînement optimise un substitut de l'objectif réel, pas l'objectif lui-même.

Tout l'art du machine learning tient dans la gestion de cet écart. Les deux échecs typiques en sont les deux versants.

Le sous-apprentissage : le modèle n'a pas capté la structure

Un modèle sous-apprend (underfitting) quand il est trop simple — ou trop mal réglé — pour capturer les régularités réelles des données. Symptôme sans ambiguïté : il est déjà mauvais sur les données d'entraînement. Une droite qui tente d'ajuster une relation en cloche ; un modèle de churn réduit à deux variables alors que le phénomène en implique vingt.

Les causes usuelles : un modèle trop simple pour le problème, des variables d'entrée pauvres qui ne contiennent pas l'information nécessaire, un entraînement interrompu trop tôt, ou un taux d'apprentissage si mal réglé que la descente n'a jamais convergé.

Les remèdes suivent : modèle plus expressif, meilleures variables (souvent le levier le plus rentable — le cours d'ingénierie des variables y est consacré), entraînement plus long ou mieux réglé.

Le surapprentissage : le modèle a mémorisé au lieu d'apprendre

L'échec inverse, plus sournois. Un modèle surapprend (overfitting) quand il colle si finement aux exemples d'entraînement qu'il en capture le bruit — les particularités accidentelles de cet échantillon-là — au lieu des seules régularités qui se répéteront.

Symptôme caractéristique : excellent sur l'entraînement, médiocre sur des données nouvelles. Un écart important entre les deux performances est la signature du surapprentissage.

L'analogie de l'étudiant est exacte : celui qui comprend le cours résout les exercices nouveaux ; celui qui a mémorisé les corrigés réussit uniquement les questions déjà vues. Les deux ont d'excellentes notes sur les annales. Un seul est prêt pour l'examen.

Le risque augmente quand le modèle est très expressif (des millions de paramètres peuvent mémoriser beaucoup), quand les données sont rares (moins d'exemples = plus facile de tous les retenir), et quand l'entraînement se prolonge (le modèle finit par apprendre le bruit après avoir appris la structure).

Le dispositif de mesure : trois jeux de données

On ne peut ni prévenir ni même constater ces échecs sans un dispositif de mesure honnête. La pratique universelle du domaine découpe les données en trois parts étanches :

Jeu	Part typique	Rôle
Entraînement	60–80 %	Ajuster les paramètres du modèle
Validation	10–20 %	Comparer les variantes, régler les hyperparamètres, décider quand arrêter
Test	10–20 %	Mesure finale, utilisée une seule fois, jamais pour choisir quoi que ce soit

Pourquoi trois et pas deux ? Parce que le jeu de validation, à force de servir à choisir entre des dizaines de variantes, finit par être indirectement « appris » lui aussi : on retient la variante qui lui plaît, ce qui est une forme douce de surapprentissage. Le jeu de test, vierge de toute décision, donne la seule estimation crédible de la performance future.

La règle qui ne souffre aucune exception

Aucune information du jeu de test ne doit influencer le développement : ni le choix du modèle, ni les variables, ni les seuils, ni les prétraitements (les statistiques de normalisation se calculent sur l'entraînement seul). Toute entorse — même involontaire — gonfle artificiellement la performance mesurée, et l'écart se paie en production. Cette famille d'erreurs porte un nom : la fuite de données, première cause des modèles « excellents en développement, décevants en production ».

Les remèdes standards au surapprentissage

Plus de données. Le remède le plus fiable : plus les exemples sont nombreux et variés, plus mémoriser devient difficile et généraliser rentable. Quand la collecte est possible, elle bat souvent toute astuce algorithmique.

La régularisation. Une famille de techniques qui pénalisent la complexité du modèle pendant l'entraînement — en ajoutant à la perte un coût sur la taille des paramètres, ou en éteignant aléatoirement des parties du réseau (dropout). L'effet : contraindre le modèle à retenir les régularités robustes plutôt que les détails.

L'arrêt anticipé (early stopping). On surveille l'erreur de validation au fil de l'entraînement : tant qu'elle baisse, on continue ; dès qu'elle remonte alors que l'erreur d'entraînement continue de baisser, le modèle commence à mémoriser — on arrête et on garde la version au meilleur point.

Simplifier. Réduire la taille du modèle ou le nombre de variables. Moins spectaculaire que d'empiler la complexité, souvent plus robuste.

Le diagnostic en pratique

Le tableau à deux entrées que tout praticien consulte mentalement :

Ce qu'il faut retenir

• L'entraînement optimise l'erreur sur les exemples connus ; l'objectif réel est la performance sur les cas futurs. Tout se joue dans cet écart.
• Sous-apprentissage : mauvais partout — modèle trop simple ou mal nourri. Surapprentissage : brillant sur l'entraînement, décevant ailleurs — le modèle a mémorisé le bruit.
• Trois jeux étanches (entraînement, validation, test) ; le test ne sert qu'une fois. Toute fuite de données fausse la mesure.
• Remèdes au surapprentissage, par ordre de fiabilité : plus de données, régularisation, arrêt anticipé, simplification.

Au module suivant : les trois régimes d'apprentissage — supervisé, non supervisé, par renforcement — et le critère pour reconnaître celui dont relève votre problème.