Leçon 4 — Probabilités
L'algèbre linéaire dit comment les données sont écrites, le calcul différentiel dit comment on apprend. Les probabilités disent ce que la réponse signifie — et c'est la branche qui évite le plus grand nombre d'erreurs coûteuses.
Un modèle ne répond jamais « oui »
C'est le point de départ, et il est mal compris. Un classifieur ne renvoie pas « chat ». Il renvoie quelque chose comme : chat 0,87 ; chien 0,11 ; renard 0,02.
Cet ensemble de nombres positifs dont la somme fait 1 est une distribution de probabilité. Le « chat » que vous voyez dans l'interface est le résultat d'une décision que quelqu'un a prise : prendre le maximum. Ce n'est pas le modèle qui a décidé, c'est le code autour de lui.
Puisque la décision est extérieure au modèle, vous pouvez la changer sans réentraîner. Le seuil de décision est un levier gratuit, et c'est souvent le levier le plus rentable de tout un projet. Un modèle de détection de fraude qui déclenche au-dessus de 0,5 peut être rendu beaucoup plus utile en déclenchant à 0,2, si le coût d'une fraude manquée dépasse celui d'une vérification inutile.
La probabilité conditionnelle, et l'erreur qui va avec
Une probabilité conditionnelle répond à « quelle est la probabilité de A sachant que B est vrai ». Elle est la brique de tout raisonnement sous incertitude, et l'erreur la plus fréquente consiste à confondre les deux sens de la condition.
Prenons un test médical, exemple classique parce qu'il est contre-intuitif.
Une maladie touche 1 personne sur 1 000. Un test la détecte dans 99 % des cas où elle est présente, et donne un faux positif dans 5 % des cas où elle est absente. Votre test est positif. Quelle est la probabilité que vous soyez malade ?
L'intuition répond « environ 99 % ». La réalité est très différente.
Sur 100 000 personnes :
- 100 sont malades. Le test en détecte 99.
- 99 900 sont saines. Le test en déclare positives 4 995.
- Total de positifs : 5 094, dont seulement 99 sont réellement malades.
La probabilité d'être malade sachant le test positif est donc d'environ 2 %.
La raison est que la maladie est rare : les faux positifs, même à taux faible, sont prélevés sur une population énorme et écrasent les vrais positifs. C'est ce que formalise le théorème de Bayes, et l'intuition à retenir tient en une phrase : la rareté de ce que vous cherchez compte autant que la qualité de votre détecteur.
Pourquoi 99 % de précision peut être une catastrophe
Ce raisonnement s'applique directement à l'évaluation des modèles, et c'est là qu'il économise le plus d'argent.
Imaginons un problème de détection de fraude où 1 % des transactions sont frauduleuses. Je vous propose un modèle qui atteint 99 % de précision globale. Impressionnant ?
Mon modèle répond « pas frauduleux » à absolument tout. Il a 99 % de bonnes réponses, et il n'a strictement rien appris. Il n'attrapera jamais une seule fraude.
C'est pourquoi la précision globale est une métrique dangereuse sur des classes déséquilibrées, et pourquoi il faut regarder la matrice de confusion, qui distingue les quatre cas.
| Le modèle dit « fraude » | Le modèle dit « normal » | |
|---|---|---|
| C'était une fraude | vrai positif | faux négatif — la fraude passe |
| C'était normal | faux positif — client bloqué à tort | vrai négatif |
De cette table dérivent les deux métriques qui comptent vraiment :
- La précision — parmi les cas que le modèle a signalés, quelle proportion était réellement positive. Elle répond à « quand il crie au loup, a-t-il raison ? »
- Le rappel — parmi tous les cas réellement positifs, quelle proportion le modèle a-t-il trouvée. Il répond à « combien lui en échappe-t-il ? »
On ne peut pas maximiser les deux en même temps : baisser le seuil augmente le rappel et dégrade la précision, le monter fait l'inverse. Le bon réglage dépend entièrement du coût des deux erreurs. En dépistage d'un cancer, un faux négatif est dramatique et un faux positif entraîne un examen complémentaire : on privilégie le rappel. En blocage automatique de compte bancaire, un faux positif fait perdre un client : on privilégie la précision. Aucun algorithme ne peut trancher cela à votre place.
Le score F1 combine les deux en un seul nombre, ce qui est pratique pour comparer des modèles et trompeur pour décider d'un seuil, puisqu'il suppose que les deux erreurs coûtent la même chose.
L'espérance : la moyenne pondérée par les chances
L'espérance est la valeur moyenne d'une quantité incertaine, chaque issue étant pondérée par sa probabilité. C'est l'outil qui traduit une prédiction en décision économique.
Exemple : un modèle estime à 3 % la probabilité qu'un client résilie ce mois-ci. Le retenir coûte 20 euros en geste commercial ; le perdre coûte 400 euros de revenu annuel. L'espérance de perte sans action est de 12 euros, inférieure aux 20 euros du geste commercial : il ne faut pas agir. À 8 % de probabilité, l'espérance de perte monte à 32 euros et l'action devient rentable.
C'est ainsi qu'une probabilité devient une décision, et c'est la raison pour laquelle un modèle qui renvoie des probabilités bien calibrées vaut beaucoup plus qu'un modèle qui renvoie seulement une étiquette.
La calibration, notion sous-estimée
Un modèle est calibré si, parmi tous les cas auxquels il attribue 70 % de probabilité, environ 70 % se réalisent effectivement. Cela paraît évident et c'est faux la plupart du temps : beaucoup de modèles, en particulier les réseaux profonds, sont trop confiants et annoncent 95 % là où la réalité est à 80 %.
Cela n'a aucune importance si vous ne regardez que l'étiquette gagnante. Cela devient central dès que vous utilisez la probabilité dans un calcul d'espérance, ou que vous affichez un niveau de confiance à un utilisateur humain qui va s'y fier.
Les trois pièges statistiques qui restent
Corrélation et causalité. Un modèle trouve des associations, pas des causes. Que le nombre de pompiers présents corrèle avec l'ampleur des dégâts n'implique pas que les pompiers causent les incendies. Un modèle prédictif peut être excellent et totalement inutilisable pour décider d'une action, parce que agir modifie précisément le mécanisme qu'il a appris.
Le biais d'échantillonnage. Si vos données d'entraînement ne ressemblent pas à la population réelle, toutes vos métriques mentent. Un modèle entraîné sur les clients qui ont répondu à un questionnaire décrit les clients qui répondent aux questionnaires.
La comparaison multiple. Tester quarante variantes de modèle et retenir la meilleure garantit que son score de validation est optimiste : vous avez sélectionné le chanceux. C'est précisément pour cela que le jeu de test doit rester scellé jusqu'à la fin.
En trois phrases
Un modèle renvoie une distribution de probabilité, jamais un verdict, ce qui signifie que le seuil de décision est un levier extérieur au modèle et souvent le plus rentable. Sur une classe rare, la précision globale est trompeuse et il faut raisonner avec la matrice de confusion, la précision et le rappel, l'arbitrage entre les deux étant une décision métier fondée sur le coût respectif des deux types d'erreur. L'espérance transforme une probabilité en décision économique, à condition que le modèle soit calibré, ce qui est plus rare qu'on ne le suppose.