Module 7 — Les métriques d'évaluation et leur lecture honnête
« Notre modèle atteint 97 % d'exactitude. » Cette phrase, telle quelle, ne dit rien. Ce module vous donne les réflexes pour lire les chiffres de performance — les vôtres comme ceux des fournisseurs — et pour repérer en quelques questions les mesures flatteuses mais creuses.
Le piège de l'exactitude
L'exactitude (accuracy) est la métrique la plus intuitive : la proportion de prédictions correctes. Elle est aussi la plus trompeuse dès que les classes sont déséquilibrées — ce qui est le cas de presque tous les problèmes intéressants.
La démonstration tient en deux lignes. Dans un flux de transactions dont 1 % sont frauduleuses, le « modèle » qui répond systématiquement « légitime » atteint 99 % d'exactitude. Il ne détecte strictement rien. Il bat pourtant, sur cette métrique, bien des modèles réels.
Fraude, pannes, maladies rares, résiliations, défauts de fabrication : les événements qui valent la peine d'être prédits sont presque toujours minoritaires. Première question devant tout chiffre de performance : quelle est la répartition des classes ?
La matrice de confusion : la vérité en quatre cases
Pour un problème à deux classes, tout tient dans quatre nombres :
| Prédit : positif | Prédit : négatif | |
|---|---|---|
| Réel : positif | Vrais positifs (VP) | Faux négatifs (FN) — les cas ratés |
| Réel : négatif | Faux positifs (FP) — les fausses alertes | Vrais négatifs (VN) |
Les deux erreurs — FP et FN — n'ont presque jamais le même coût métier. Rater un cancer (FN) et convoquer un patient sain pour des examens complémentaires (FP) ne se comparent pas. Bloquer la transaction d'un client honnête et laisser passer une fraude non plus. Toute évaluation sérieuse commence par chiffrer le coût de chacune des deux erreurs.
Précision et rappel : les deux questions qui comptent
De la matrice découlent les deux métriques centrales, chacune répondant à une question différente.
La précision : parmi les cas que le modèle signale, quelle proportion est réellement positive ? VP / (VP + FP). Une précision de 80 % signifie qu'une alerte sur cinq est fausse. C'est la métrique de la confiance dans les alertes — critique quand chaque alerte déclenche une action coûteuse.
Le rappel : parmi les cas réellement positifs, quelle proportion le modèle attrape-t-il ? VP / (VP + FN). Un rappel de 75 % signifie qu'un cas sur quatre passe au travers. C'est la métrique de la couverture — critique quand rater un cas coûte cher.
Les deux se tirent dessus. Un modèle produit généralement un score entre 0 et 1, et c'est le seuil choisi qui transforme le score en décision. Abaisser le seuil attrape plus de cas (rappel ↑) mais multiplie les fausses alertes (précision ↓) ; le relever fait l'inverse. Le seuil n'est pas un détail technique : c'est la traduction chiffrée de vos coûts d'erreur, et il se décide avec le métier.
Le F1-score — moyenne harmonique de la précision et du rappel — résume les deux en un chiffre quand on a besoin d'un classement unique ; il suppose que les deux erreurs pèsent pareil, ce qui est rarement vrai. L'AUC mesure la qualité du classement produit par les scores, indépendamment de tout seuil : utile pour comparer des modèles, insuffisante pour piloter une décision.
Devant « 97 % de performance », demandez : quelle métrique exactement ? Sur quelle répartition de classes ? Mesurée sur quelles données — un jeu de test étanche, ou les données d'entraînement ? Avec quel seuil ? Et que donne le modèle de référence trivial (prédire toujours la classe majoritaire, reconduire la valeur d'hier) ? Il arrive régulièrement que la référence triviale fasse presque aussi bien — auquel cas le modèle n'apporte rien.
Les métriques de régression
Quand la sortie est un nombre, on mesure la taille des écarts.
La MAE (erreur absolue moyenne) : l'écart moyen en unités réelles — « nous nous trompons de 12 400 € en moyenne ». Directement parlante pour le métier.
La RMSE (racine de l'erreur quadratique moyenne) : même unité, mais les gros écarts pèsent davantage. À préférer quand une grosse erreur est disproportionnément coûteuse ; l'écart entre MAE et RMSE signale d'ailleurs la présence d'erreurs extrêmes.
Le R² : la part de la variation expliquée par le modèle. Attention aux comparaisons hors contexte : un R² de 0,3 peut être remarquable sur un phénomène très bruité (comportements humains) et médiocre sur un phénomène physique régulier.
Le réflexe de la référence vaut aussi ici : comparer à « prédire la moyenne » ou « reconduire la valeur précédente ». En prévision de séries temporelles, la valeur d'hier est une référence étonnamment difficile à battre.
La m étrique n'est pas l'objectif
Dernier point, le plus important. La métrique est un instrument de mesure, pas la finalité. Un modèle de churn n'existe pas pour son F1-score mais pour retenir des clients ; le chiffre qui compte in fine est l'impact — clients retenus, fraudes évitées, heures économisées — mesuré si possible par un test contrôlé en production.
L'optimisation aveugle d'une métrique produit des absurdités documentées : le modèle de tri de CV qui maximise la « pertinence » en répliquant les biais des recrutements passés, le système de recommandation qui maximise le clic en poussant du contenu extrême. Ce qui se mesure s'optimise — y compris quand c'est la mauvaise chose. Le module 10 y reviendra.
Ce qu'il faut retenir
- L'exactitude est illisible sur classes déséquilibrées — soit la quasi-totalité des problèmes réels. Toujours demander la répartition.
- La matrice de confusion distingue les deux erreurs, dont les coûts métier diffèrent presque toujours ; précision = confiance dans les alertes, rappel = couverture des cas réels.
- Le seuil arbitre entre les deux : c'est une décision métier chiffrée, pas un réglage technique.
- Régression : MAE pour parler au métier, RMSE quand les grosses erreurs coûtent cher, et toujours une référence triviale comme point de comparaison.
- La métrique sert l'objectif, elle ne le remplace pas.
Au module suivant : le cycle de vie complet d'un projet d'IA — du cadrage à la mise en production et à la surveillance.