Leçon 1 — D'où viennent les biais
Un modèle ne décide pas de discriminer
Commençons par écarter une image trompeuse : celle d'un algorithme qui aurait des préjugés. Un modèle n'a aucune intention. Il optimise une fonction sur des données, et il le fait très bien.
C'est précisément le problème. Si les données enregistrent des décisions passées inégalitaires, le modèle apprend à les reproduire — non par malveillance, mais parce que c'est exactement ce qu'on lui a demandé : prédire ce qui s'est produit auparavant.
Un biais n'est donc jamais une défaillance du modèle. C'est presque toujours la conséquence d'un choix humain, souvent fait sans en voir la portée. Cela a une bonne conséquence : les choix se reprennent.
Les biais viennent de trois endroits, et il est utile de savoir lequel est en cause, parce que les remèdes n'ont rien à voir.
Source 1 — Les données
Le biais historique
Le plus fréquent, et le plus profond.
Les données décrivent le monde tel qu'il a été, pas tel qu'il devrait être. Un modèle entraîné sur dix ans de recrutements dans un secteur où les femmes étaient peu recrutées apprend que le fait d'être une femme corrèle négativement avec l'embauche. Il n'a rien fabriqué : il a mesuré.
Le point important est qu'aucune correction technique ne résout un biais historique, parce que les données sont exactes. Le problème est qu'on utilise des décisions passées comme définition de la bonne décision.
Le biais d'échantillonnage
Vos données ne représentent pas la population sur laquelle le modèle sera utilisé.
Les exemples abondent : un modèle de dermatologie entraîné majoritairement sur des peaux claires et bien moins fiable sur des peaux foncées ; un système de reconnaissance vocale entraîné sur des locuteurs d'une seule région ; un modèle de risque bâti sur une clientèle urbaine et déployé en milieu rural.
Celui-là se corrige, en collectant des données représentatives — ce qui coûte du temps et de l'argent, et reste faisable.
Le biais de mesure
Le plus discret des trois, et souvent le plus grave.
La variable que vous prédisez n'est presque jamais celle qui vous intéresse ; c'est un substitut mesurable. Vous voulez prédire « la personne sera un bon employé » et vous prédisez « la personne a été bien notée par son responsable ». Vous voulez prédire « le patient a besoin de soins » et vous prédisez « le patient a coûté cher au système de santé ».
Le second exemple est célèbre : un système américain d'orientation de soins utilisait les dépenses de santé comme mesure du besoin de soins. Or, à besoin égal, les patients noirs recevaient historiquement moins de soins, donc coûtaient moins cher. Le modèle a conclu qu'ils avaient moins besoin de soins. La variable était objective, mesurable, et fausse comme définition du besoin.
« La variable que nous prédisons est-elle réellement celle qui nous intéresse, ou un substitut commode ? »
C'est la question la plus rentable de tout ce cours. Elle prend cinq minutes et elle a évité plus de problèmes que n'importe quel outil d'audit.
Source 2 — La conception
Quatre décisions humaines qui créent des biais avant même que le modèle voie une donnée.
Ce qu'on décide de prédire. Prédire « qui va rembourser » et prédire « qui va être rentable » ne donnent pas les mêmes décisions ni les mêmes effets sur les populations.
Quelles variables on retient. Chaque variable retenue est un choix, et l'absence d'une variable en est un aussi.
Comment on définit la réussite. Optimiser la précision globale sacrifie les groupes minoritaires, parce qu'ils pèsent peu dans la moyenne. C'est arithmétique, et c'est un choix implicite lourd de conséquences.
Où l'on place le seuil de décision. Un modèle produit un score ; un humain choisit à partir de quel score on refuse. Ce seuil unique n'a pas le même effet sur des groupes dont les distributions de scores diffèrent.
Source 3 — Le déploiement
Deux biais qui n'existent pas à l'entraînement et apparaissent en usage.
La boucle de rétroaction. Le modèle influence les données futures, qui l'entraîneront ensuite. Une police prédictive qui envoie plus de patrouilles dans un quartier y constate plus d'infractions — parce qu'elle y regarde davantage —, ce qui confirme la prédiction et renforce l'envoi de patrouilles. La prophétie se réalise elle-même.
Le biais d'automatisation. Les humains font davantage confiance à une sortie machine qu'à leur propre jugement, y compris quand ils ont autorité pour la contredire. Un « humain dans la boucle » qui valide 99 % des recommandations n'est pas un garde-fou ; c'est une signature.
Le piège du retrait de variable
L'idée paraît évidente : pour éviter la discrimination, ne pas donner au modèle le sexe, l'origine ou l'âge. Elle est fausse, et il faut comprendre pourquoi.
Le modèle reconstruit l'information à partir de variables corrélées, appelées substituts :
| Variable retirée | Substituts qui la reconstituent |
|---|---|
| Origine, appartenance ethnique | code postal, quartier, prénom, établissement scolaire |
| Sexe | intitulé de poste, historique d'achats, interruptions de carrière, sports pratiqués |
| Âge | année de diplôme, technologies maîtrisées, ancienneté |
| Situation économique | type de téléphone, moyen de paiement, opérateur |
Retirer la variable ne supprime donc pas la discrimination. Pire : elle vous prive du moyen de la mesurer, puisque vous ne pouvez plus comparer les résultats entre groupes.
Pour vérifier qu'un modèle ne discrimine pas, il faut connaître les attributs sensibles — non pour les donner au modèle, mais pour auditer ses sorties.
C'est en tension avec la minimisation des données, et la position raisonnable est de collecter ces attributs de façon séparée, protégée, avec pour seule finalité l'évaluation de l'équité. Plusieurs autorités de protection des données ont reconnu cette finalité comme légitime.
Comment détecter un biais
Une méthode en quatre étapes, exécutable en une demi-journée.
1. Segmenter les métriques. C'est le geste central. Ne regardez jamais une performance globale seule : calculez la précision, le rappel et le taux de faux positifs par groupe. Un modèle à 94 % de précision globale peut être à 97 % sur un groupe et 71 % sur un autre. La moyenne cache exactement ce qu'il faut voir.
2. Comparer les taux de sélection. Quelle proportion de chaque groupe reçoit une décision favorable ? Un écart important est un signal à expliquer, pas nécessairement une preuve.
3. Chercher les substituts. Entraînez un modèle à prédire l'attribut sensible à partir des variables que vous utilisez. S'il y parvient bien, l'information est présente dans vos données, quelles que soient les variables retirées.
4. Examiner les cas limites. Regardez manuellement les décisions proches du seuil et les erreurs les plus coûteuses. Les problèmes structurels y sont souvent visibles à l'œil nu.
À retenir
- Un modèle n'a pas de préjugé : il reproduit fidèlement ce que contiennent les données et ce que la conception lui demande.
- Trois sources : les données (historique, échantillonnage, mesure), la conception (cible, variables, métrique, seuil), le déploiement (rétroaction, automatisation).
- Le biais de mesure est le plus discret : la variable prédite n'est presque jamais celle qui intéresse vraiment.
- Retirer une variable sensible ne supprime pas la discrimination : les substituts la reconstruisent, et vous perdez le moyen de la mesurer.
- Pour auditer l'équité, il faut connaître les attributs sensibles, de façon séparée et protégée.
- Le geste le plus utile de toute la démarche : segmenter les métriques par groupe.
Leçon suivante — L'équité et son impossibilité mathématique →