Leçon 2 — L'équité et son impossibilité
« Équitable » n'est pas une propriété unique
« Le modèle doit être équitable » sonne comme une exigence claire. Elle ne l'est pas, parce qu'il existe plusieurs définitions de l'équité qui se contredisent, et qu'un système peut être parfaitement équitable au sens de l'une tout en étant manifestement inéquitable au sens d'une autre.
Ce n'est pas une subtilité académique. C'est la difficulté centrale du sujet, et l'ignorer conduit à des débats où chacun a raison et où personne ne s'entend.
Les quatre définitions qui comptent
La parité démographique
La proportion de décisions favorables est la même dans chaque groupe. Si 30 % des candidats d'un groupe sont retenus, 30 % de l'autre le sont aussi.
Ce qu'elle capture : l'égalité des résultats. Utile quand on considère que les écarts observés dans les données proviennent d'inégalités qu'il faut corriger.
Ce qu'elle coûte : elle ignore les différences réelles de qualification. Appliquée strictement, elle impose de sélectionner des candidats moins bien notés dans un groupe pour atteindre la parité, ce qui n'est pas toujours acceptable ni légal.
L'égalité des chances
Le taux de vrais positifs est le même dans chaque groupe. Parmi les personnes qui auraient réussi, la même proportion est sélectionnée dans chaque groupe.
Ce qu'elle capture : ne pas manquer les personnes qualifiées à cause de leur groupe. C'est souvent la définition la plus défendable pour l'accès à une opportunité — emploi, prêt, admission.
Ce qu'elle coûte : elle ne dit rien des faux positifs, qui peuvent différer fortement.
L'égalité des taux d'erreur
Les faux positifs et les faux négatifs sont équilibrés dans chaque groupe. Version plus exigeante de la précédente.
Ce qu'elle capture : ne pas faire porter le coût des erreurs à un groupe plutôt qu'à un autre. Décisive quand l'erreur nuit — détention, contrôle fiscal, retrait de prestation.
La calibration par groupe
Un score signifie la même chose dans chaque groupe. Si le modèle annonce 70 % de probabilité, environ 70 % des personnes concernées réalisent l'événement, dans tous les groupes.
Ce qu'elle capture : l'honnêteté du score. Sans elle, un même chiffre ne veut pas dire la même chose selon la personne, ce qui rend toute décision fondée sur le score arbitraire.
Ce qu'elle coûte : elle est compatible avec des taux de sélection très inégaux.
Le résultat d'impossibilité
Voici le point qu'il faut retenir de cette leçon.
Si les taux de base diffèrent entre les groupes, il est mathématiquement impossible de satisfaire simultanément la calibration et l'égalité des taux d'erreur.
Ce n'est pas une limite des algorithmes actuels, ni un problème de puissance de calcul. C'est une contradiction arithmétique, démontrée en 2016 dans les travaux sur l'affaire COMPAS. Aucun progrès technique ne la lèvera.
Comment le comprendre intuitivement. Un taux de base est la fréquence réelle de l'événement dans un groupe. Si elle vaut 30 % dans un groupe et 10 % dans l'autre, un score calibré doit refléter cet écart — c'est ce que calibré signifie. Mais alors, à seuil égal, les deux groupes ne peuvent pas avoir les mêmes taux de faux positifs, puisque la répartition des scores diffère. Vous pouvez avoir l'un ou l'autre, pas les deux.
L'illustration historique. L'algorithme COMPAS, utilisé aux États-Unis pour évaluer le risque de récidive, a fait l'objet d'une controverse célèbre. Une enquête journalistique a montré que les personnes noires non récidivistes étaient plus souvent classées à risque élevé — inéquité au sens des taux d'erreur. L'éditeur a répondu que le score était également calibré entre groupes — équité au sens de la calibration.
Les deux camps avaient raison. Les taux de base d'arrestation différaient, donc les deux critères ne pouvaient pas être satisfaits ensemble. Le débat portait, sans le dire, sur le choix de la définition — et c'était un débat de société, pas de statistique.
Comment choisir
Puisqu'il faut choisir, autant le faire explicitement et pour de bonnes raisons.
Question 1 — Le coût de l'erreur est-il symétrique ?
Si un faux positif nuit à la personne — détention à tort, refus injustifié, signalement erroné —, privilégiez l'égalité des taux d'erreur. Si un faux négatif prive d'une opportunité, privilégiez l'égalité des chances.
Question 2 — Le score est-il communiqué ou utilisé pour arbitrer ?
Si un humain lit le score, ou si des budgets sont répartis en fonction de lui, la calibration devient indispensable : un score non calibré induit systématiquement en erreur.
Question 3 — Considérez-vous les taux de base comme légitimes ?
C'est la question la plus politique et la plus déterminante. Si les taux de base observés reflètent selon vous des inégalités structurelles injustes, la parité démographique se défend. Si vous les considérez comme des faits à respecter, elle ne se défend pas.
Question 4 — Quel est le cadre juridique ?
Dans certaines juridictions, ajuster explicitement une décision selon un attribut protégé est illégal, même dans une intention correctrice. Cela restreint les options disponibles avant tout arbitrage technique.
Un document d'une page qui indique : la définition retenue, pourquoi, ce qu'elle sacrifie, et les écarts mesurés entre groupes.
Ce document vaut plus que n'importe quel outil. Il rend le choix visible, discutable et révisable — et il vous protège, parce qu'il montre que la question a été traitée plutôt qu'ignorée.
Les techniques de correction
Trois familles, selon le moment où l'on intervient.
Avant l'entraînement — sur les données. Rééquilibrer les groupes, repondérer les exemples, corriger les étiquettes manifestement biaisées, ou collecter davantage de données sur les groupes sous-représentés. La collecte est presque toujours la meilleure option quand elle est possible : elle traite la cause au lieu du symptôme.
Pendant l'entraînement — sur l'objectif. Ajouter une pénalité sur l'écart entre groupes dans la fonction de coût. Efficace et plus intrusif : cela demande de modifier l'entraînement et de disposer des attributs sensibles.
Après l'entraînement — sur les seuils. Utiliser des seuils différents par groupe pour égaliser le critère retenu. Techniquement le plus simple et le plus efficace, et juridiquement le plus délicat, puisqu'il traite explicitement les groupes différemment. À examiner avec un juriste avant toute mise en œuvre.
Le point commun aux trois : elles supposent que vous connaissez les attributs sensibles, et elles échangent toutes un peu de performance globale contre de l'équité. Cet échange doit être quantifié et assumé, pas subi.
À retenir
- « Équitable » recouvre plusieurs définitions incompatibles : parité démographique, égalité des chances, égalité des taux d'erreur, calibration.
- Un théorème d'impossibilité interdit de satisfaire calibration et égalité des taux d'erreur quand les taux de base diffèrent. Aucun progrès technique ne le contournera.
- L'affaire COMPAS illustre le cas où deux camps ont raison selon deux définitions différentes.
- Le choix se guide par : la symétrie du coût de l'erreur, l'usage du score, la légitimité des taux de base, le cadre juridique.
- Trois familles de correction : sur les données, sur l'objectif, sur les seuils. La collecte de données reste la plus saine.
- Le livrable qui compte est un document d'une page énonçant la définition retenue et ce qu'elle sacrifie.
Leçon suivante — L'explicabilité : ce qu'elle apporte et ses limites →