Module 3 — Mesures d'équité et leurs incompatibilités

Un modèle est « équitable » — mais selon quelle définition ? Le module 2 a montré que le biais entre par plusieurs portes ; celui-ci apprend à mesurer sa présence. Nous verrons qu'il existe au moins trois définitions raisonnables, qu'elles sont mathématiquement incompatibles dès que les taux de base diffèrent entre groupes, et qu'aucun outil ne dispensera d'un arbitrage humain assumé.

Trois définitions, trois questions différentes

Notons $A$ le groupe (par exemple deux zones géographiques du fil rouge), $Y$ la vraie étiquette (défaut ou non), et $\hat{Y}$ la prédiction du modèle. Chaque famille d'équité pose une question distincte à ces trois quantités.

La parité démographique demande que le taux de décision positive soit identique entre groupes, soit $P(\hat{Y}=1 \mid A=a) = P(\hat{Y}=1 \mid A=b)$. Traduit sur le crédit : accorder le prêt à la même proportion de demandeurs dans chaque zone. L'attrait est immédiat, l'écueil aussi : si les taux de défaut réels diffèrent entre zones, respecter la parité impose d'accorder à des profils plus risqués dans un groupe et de refuser des profils moins risqués dans l'autre.

L'égalité des chances exige que les personnes qui rembourseront réellement soient acceptées au même taux dans chaque groupe, soit $P(\hat{Y}=1 \mid Y=1, A=a) = P(\hat{Y}=1 \mid Y=1, A=b)$. Autrement dit : parmi les bons payeurs, la probabilité d'être accepté ne doit pas dépendre du groupe. Cette définition parle de taux de vrais positifs — dans la terminologie du cours sur l'apprentissage supervisé, la sensibilité — et se laisse mesurer proprement.

La calibration demande qu'un score prédit ait le même sens dans chaque groupe : si le modèle attribue 0,3 de probabilité de défaut, environ 30 % des personnes ainsi notées font effectivement défaut, indépendamment du groupe. Formellement, $P(Y=1 \mid \hat{S}=s, A=a) = s$ pour tout $s$ et tout $a$, où $\hat{S}$ est le score. C'est la définition la plus faible en apparence — et la plus insidieuse : un modèle très calibré peut être très injuste.

Le théorème d'impossibilité

Un résultat prouvé formellement par Kleinberg, Chouldechova et d'autres autour de 2016 : dès que les taux de base $P(Y=1 \mid A)$ diffèrent entre groupes, il est mathématiquement impossible de satisfaire simultanément la calibration, l'égalité des taux de vrais positifs et l'égalité des taux de faux positifs. Ce n'est pas une limite d'ingénierie ; c'est un théorème.

Sur le fil rouge, les taux de défaut historiques observés diffèrent entre zones : environ 8,4 % dans la zone B contre 7,3 % dans la zone A. Cet écart n'est pas énorme, mais il est réel — et il suffit à rendre les trois définitions inconciliables. Choisir l'une revient à sacrifier au moins l'une des autres. Il n'y a pas d'outil magique : la décision est éthique et politique avant d'être technique.

Mesurer avec Fairlearn

Fairlearn, bibliothèque Python maintenue à l'origine par Microsoft Research, expose trois briques utiles : des métriques par sous-groupe, un tableau récapitulatif (MetricFrame), et des algorithmes de mitigation par post-traitement ou par contrainte pendant l'entraînement.

from fairlearn.metrics import MetricFrame, selection_rate, true_positive_rate
from sklearn.metrics import accuracy_score

metrics = {
    "exactitude": accuracy_score,
    "taux_acceptation": selection_rate,
    "taux_vrais_positifs": true_positive_rate,
}

resume = MetricFrame(
    metrics=metrics,
    y_true=y_test,
    y_pred=y_pred,
    sensitive_features=zone_test,  # série 'A' ou 'B'
)

print(resume.by_group)
print("écart max sur l'acceptation :", resume.difference()["taux_acceptation"])

La sortie donne, groupe par groupe, chacune des trois métriques et calcule l'écart maximal. Sur le modèle brut de Cetelinéa, on lit typiquement un taux d'acceptation de 82 % dans la zone A contre 71 % dans la zone B — un écart de 11 points qui ne s'explique pas par le seul différentiel de risque et qui alerte immédiatement l'auditeur.

Choisir une métrique et l'assumer

Le choix d'une métrique d'équité doit être écrit, motivé, et rattaché à une partie prenante identifiée. Trois exemples de raisonnements défendables sur notre modèle de crédit.

Priorité à l'égalité des chances, si l'objectif politique est de ne pas priver un bon payeur d'un accès au crédit à cause de son groupe. On accepte alors qu'un mauvais payeur d'un groupe puisse être accepté à un taux différent d'un autre groupe.

Priorité à la calibration, si l'usage aval est un tarif ajusté au risque : un score de 0,3 doit vouloir dire la même chose pour l'un et l'autre, sinon le calcul de la marge bancaire devient injuste. On accepte alors des écarts sur les taux d'acceptation.

Priorité à la parité, si l'exposition médiatique et politique est forte, si la loi applicable interdit certaines formes de disparate treatment, ou si le régulateur bancaire regarde d'abord le taux d'acceptation par zone.

Ces trois choix se défendent. Aucun ne peut être imposé par un outil ; tous doivent être documentés dans la fiche de modèle du module 6.

Ce que la mitigation peut et ne peut pas

Fairlearn propose plusieurs algorithmes de mitigation, notamment ExponentiatedGradient (contrainte pendant l'entraînement) et ThresholdOptimizer (choix de seuils différents par groupe en post-traitement). Ces outils déplacent le compromis, ils ne le suppriment pas.

Deux avertissements essentiels. Utiliser des seuils différents par groupe est explicitement discuté par les juristes : selon les juridictions, cela peut être vu comme une correction légitime ou comme une discrimination positive interdite. Le module 8 y revient. Toute mitigation dégrade l'exactitude globale de quelques dixièmes à quelques points, ce qui est parfois précisément le prix à payer, à condition que la direction en soit informée par écrit.

En résumé

• Trois définitions raisonnables — parité démographique, égalité des chances, calibration — répondent à trois questions différentes.
• Théorème d'impossibilité : dès que les taux de base diffèrent entre groupes, elles ne peuvent pas toutes être satisfaites.
• Fairlearn mesure ces métriques par sous-groupe et calcule les écarts, mais ne tranche pas l'arbitrage à votre place.
• Le choix d'une métrique est écrit, motivé, rattaché à une partie prenante ; la mitigation déplace le compromis, elle ne le supprime pas.

Module suivant : ouvrir la boîte noire du modèle avec SHAP et LIME, et comprendre pourquoi une explication n'est pas encore une justification.