Leçon 4 — L'évaluation
Un modèle sans évaluation honnête n'est pas un modèle, c'est une opinion. Cette leçon est la plus utile du cours en situation professionnelle : elle vous donne de quoi juger un résultat qu'on vous présente, y compris le vôtre.
Pourquoi trois jeux de données, et non deux
Vous connaissez le principe du découpage entraînement / test. Il en manque un.
Le jeu d'entraînement, environ 70 % des données : le modèle apprend dessus.
Le jeu de validation, environ 15 % : il sert à faire vos choix. Quel algorithme, quelle profondeur d'arbre, quel taux d'apprentissage, quelles variables garder. Vous le consultez autant de fois que nécessaire.
Le jeu de test, environ 15 % : il ne sert qu'à une seule mesure, à la toute fin, pour estimer la performance réelle.
La raison de cette séparation est subtile et décisive. Chaque fois que vous consultez un jeu de données pour décider quelque chose, vous vous adaptez à lui. Après avoir comparé quarante variantes sur le jeu de validation, vous avez sélectionné celle qui convient le mieux à ce découpage précis — chance comprise. Son score de validation est donc optimiste.
Le jeu de test, jamais consulté, est le seul témoin non contaminé.
Regarder le jeu de test, constater un score décevant, modifier le modèle, et regarder à nouveau. À cet instant, le jeu de test est devenu un jeu de validation et il ne mesure plus rien d'honnête. On appelle cela « sur-ajuster le test », et c'est la cause la plus fréquente de l'écart entre le chiffre annoncé en réunion et la performance constatée en production.
La règle : une seule mesure, à la fin, et on l'accepte telle quelle.
La validation croisée
Avec un jeu de données modeste, un découpage unique est fragile : selon les exemples tombés dans la validation, le score peut varier de plusieurs points. Vous ne savez alors pas si un modèle est meilleur qu'un autre ou simplement mieux tombé.
La validation croisée règle ce problème. On découpe l'entraînement en cinq parts, puis on entraîne cinq fois, en réservant chaque fois une part différente pour la validation. On obtient cinq scores, dont on prend la moyenne — et l'écart type, qui est presque aussi informatif.
L'écart type mérite votre attention : un modèle à 84 % ± 1 point est bien plus fiable qu'un modèle à 86 % ± 7 points. Le second est un pari.
Si vos données ont une dimension temporelle — ventes, capteurs, transactions — le découpage aléatoire est interdit. Il mettrait des exemples de mars dans l'entraînement et des exemples de février dans le test : le modèle prédirait le passé en connaissant le futur. Il faut découper par date : entraîner sur les premiers mois, valider sur les suivants. C'est la validation croisée temporelle, et l'oublier est une erreur classique qui produit des scores flatteurs et un échec total en production.
Les métriques de classification
Il n'existe pas de « bonne métrique » universelle. Il existe une métrique qui correspond à votre coût d'erreur.
La précision globale (accuracy) — la proportion de bonnes réponses. Intuitive, et trompeuse dès que les classes sont déséquilibrées : sur un problème où 1 % des cas sont positifs, répondre « négatif » à tout donne 99 %.
La matrice de confusion — le tableau des quatre issues. Ce n'est pas une métrique, c'est le point de départ obligatoire, parce qu'elle montre quelle sorte d'erreur le modèle commet.
| Le modèle dit « positif » | Le modèle dit « négatif » | |
|---|---|---|
| C'était positif | vrai positif | faux négatif |
| C'était négatif | faux positif | vrai négatif |
La précision (au sens strict) — parmi les cas signalés, la proportion réellement positive. « Quand il crie au loup, a-t-il raison ? »
Le rappel — parmi tous les cas réellement positifs, la proportion retrouvée. « Combien lui en échappe-t-il ? »
Le score F1 — la moyenne harmonique des deux. Pratique pour comparer des modèles, trompeuse pour choisir un seuil, puisqu'elle suppose que les deux erreurs coûtent la même chose.
L'AUC — la probabilité que le modèle attribue un score plus élevé à un cas positif tiré au hasard qu'à un cas négatif. Son intérêt est d'être indépendante du seuil : elle mesure la qualité du classement, pas celle de la décision. C'est la bonne métrique pour comparer deux modèles, et une mauvaise métrique pour décider si l'un est utilisable.
Les métriques de régression
L'erreur absolue moyenne (MAE) — la moyenne des écarts en valeur absolue. Elle s'exprime dans l'unité du problème, ce qui la rend directement compréhensible : « on se trompe en moyenne de 12 000 euros sur le prix ».
L'erreur quadratique moyenne (RMSE) — même idée, en élevant les écarts au carré avant de moyenner. Conséquence : elle pénalise fortement les grosses erreurs. À choisir quand une erreur de 100 est bien plus grave que dix erreurs de 10.
Le coefficient de détermination (R²) — la proportion de la variance expliquée par le modèle. Sans unité, donc pratique pour comparer, et sans signification métier directe.
Le choix entre MAE et RMSE n'est pas technique : il traduit votre tolérance aux grosses erreurs. En prévision de stock, une grosse erreur ponctuelle peut vider un entrepôt : RMSE. En estimation de durée de trajet, une erreur de dix minutes deux fois vaut mieux qu'une erreur de vingt minutes une fois : MAE.
Ce qu'aucune métrique ne mesure
Un modèle peut afficher d'excellents chiffres et être inutilisable. Quatre dimensions échappent complètement aux métriques.
La performance par sous-groupe. Un modèle à 92 % global peut être à 96 % sur un groupe et 71 % sur un autre. La moyenne masque la disparité, et la disparité est souvent le vrai problème — juridiquement autant que techniquement. Le cours Éthique et IA responsable traite ce point.
Le coût réel des erreurs. Deux modèles au même score F1 peuvent avoir des conséquences économiques très différentes selon la répartition entre faux positifs et faux négatifs.
La stabilité dans le temps. Un score mesuré une fois ne dit rien de la dégradation à venir. C'est le sujet de la leçon suivante.
L'explicabilité. Dans les secteurs régulés, un modèle plus précis mais inexplicable est simplement interdit.
- Sur quel jeu ce chiffre a-t-il été mesuré, et combien de fois l'avez-vous consulté ?
- À quoi ressemble la matrice de confusion, et quel est le score du modèle de référence trivial ?
- Le découpage respecte-t-il la chronologie, et les scores par sous-groupe ont-ils été regardés ?
Trois questions, et une proportion étonnante de projets se révèle beaucoup moins solide qu'annoncé.
En trois phrases
Il faut trois jeux de données et non deux, parce que consulter un jeu pour faire des choix vous y adapte, et seul un jeu de test jamais consulté donne une estimation honnête. La validation croisée stabilise cette estimation en moyennant plusieurs découpages, l'écart type étant presque aussi informatif que la moyenne, et le découpage doit respecter la chronologie dès que les données sont temporelles. Le choix de la métrique n'est pas technique mais économique : il traduit le coût respectif des deux types d'erreur, et aucune métrique ne mesure les disparités par sous-groupe, la stabilité dans le temps ni l'explicabilité.