Module 2 — Sources de biais : collecte, étiquetage, historique

Le mot « biais » a deux vies. En statistique, il désigne l'écart systématique entre l'estimateur et la vraie valeur. En éthique, il désigne le traitement inéquitable de groupes de personnes. Un modèle peut être non biaisé au premier sens et profondément biaisé au second. C'est exactement le cas de départ de notre fil rouge : le modèle de la banque Cetelinéa minimise correctement l'erreur sur les données observées, et c'est précisément parce qu'il apprend bien ces données que le problème émerge.

Le biais entre à quatre portes

Un jeu de données de crédit reflète quatre décisions humaines superposées : qui a été sollicité pour un prêt, qui a osé demander, qui a été accepté par le passé, et parmi les acceptés, qui a fait défaut. Chaque étape filtre la population et introduit un biais spécifique.

Biais de sélection. Cetelinéa n'a jamais démarché de clientèle dans certains quartiers, faute d'agence. Sa base client sous-représente donc ces quartiers, et les revenus ou métiers qui s'y concentrent. Un modèle entraîné sur cette base héritera de cette absence : il « ne sait pas » évaluer un profil de ces zones et l'affectera probablement au risque moyen des profils qu'il connaît le moins bien.

Biais de mesure. Les revenus déclarés sont mieux vérifiés pour les salariés que pour les indépendants ; leur variable arrive plus propre dans le jeu. Un algorithme qui accorde plus de poids aux variables mesurées avec précision favorisera mécaniquement les profils dont ces variables sont fiables — une préférence indirecte pour les salariés qui n'est écrite dans aucun code.

Biais d'étiquetage. La cible « défaut à 24 mois » n'existe que pour les personnes acceptées par le passé. Les refusés n'ont pas de cible : on ne sait pas s'ils auraient remboursé. C'est le selection bias on the label, ou biais de sélection sur l'étiquette, dont la conséquence est brutale : le modèle apprend à séparer bons et mauvais payeurs parmi les personnes que les conseillers acceptaient déjà. Un profil systématiquement refusé par les conseillers depuis dix ans n'apparaît nulle part dans les données, ni comme bon, ni comme mauvais.

Biais historique. Les décisions passées elles-mêmes portent des préjugés. Si un conseiller, il y a huit ans, refusait plus facilement les jeunes de moins de 25 ans quel que soit leur dossier, la cible « défaut » sera calculée sur une population sous-représentée pour cette tranche d'âge. Le modèle absorbe cette pratique passée et la restitue à l'identique, sous une forme mathématique qui l'a lavée de sa trace humaine.

Pourquoi retirer la variable ne suffit pas

L'intuition la plus fréquente — « on n'a qu'à retirer la variable sensible » — se paie chèrement. Les données sont corrélées : une variable dite protégée laisse des empreintes dans presque toutes les autres. Ces empreintes sont les variables de substitution, ou proxy variables.

Sur le fil rouge, si on retire le champ « quartier de résidence », le modèle utilisera le code postal, la banque de domiciliation initiale, l'ancienneté du numéro de téléphone, la présence d'une adresse électronique professionnelle. Chacune corrèle partiellement avec le quartier. Le modèle reconstruit le même signal à partir d'une combinaison de ces substituts, avec une performance légèrement dégradée et une injustice inchangée.

Un exemple chiffré, qui vaut mieux qu'un discours : sur un extrait de 40 000 dossiers acceptés il y a cinq ans dans deux zones géographiques distinctes, on mesure un taux de défaut réel de 8,1 % dans la zone A et de 8,4 % dans la zone B. Le modèle, entraîné sans la variable « zone », prédit un taux moyen de 7,4 % pour la zone A et 11,2 % pour la zone B. L'écart de prédiction est trois fois plus grand que l'écart réel : les substituts amplifient un signal qui, à l'origine, était minime.

La boucle de rétroaction

Le pire biais n'est pas dans les données, il est dans le déploiement. Un modèle d'octroi de crédit génère les données qu'il verra demain : les prêts qu'il accorde produisent les défauts observables, ceux qu'il refuse n'en produisent pas. Si le modèle refuse systématiquement une catégorie, cette catégorie ne fournira plus aucune donnée pour la contredire, et sa sous-représentation s'aggravera à chaque itération de réentraînement.

C'est la feedback loop, la boucle de rétroaction, particulièrement documentée dans la police prédictive et dans les recommandations en ligne. Elle a une signature reconnaissable : la performance du modèle sur ses propres décisions s'améliore chaque année, tandis que sa validité globale se dégrade sur toute population qu'il n'a pas laissé exister dans ses données.

Un audit rapide en trois questions

Avant d'entrer dans les métriques du module suivant, trois questions permettent de qualifier grossièrement une source de biais.

• Qui manque ? Regarder la distribution des caractéristiques sensibles dans le jeu et la comparer à la population cible. Un écart massif est un signal, pas une conclusion.
• Qui a produit l'étiquette ? Si un humain a annoté, il a pu reproduire ses préjugés. Si le processus a filtré (accepté / refusé), l'étiquette n'existe que pour la moitié acceptée.
• Qui a été absent des données par construction ? Les demandeurs jamais acceptés, les refus non enregistrés, les dossiers incomplets qui ont été supprimés silencieusement.

Ces trois questions ne mesurent pas un biais, elles ouvrent l'enquête que les modules 3 à 6 mèneront quantitativement.

En résumé

• Un jeu de crédit hérite de quatre biais superposés : sélection, mesure, étiquetage, historique — chacun entre à un moment précis de la chaîne.
• Retirer la variable sensible ne suffit pas : les variables de substitution reconstruisent le signal, parfois en l'amplifiant.
• La boucle de rétroaction transforme les décisions passées en données futures et enferme le modèle dans ses propres refus.
• Trois questions rapides — qui manque, qui a étiqueté, qui n'a jamais existé dans les données — orientent l'audit avant de mesurer.

Module suivant : donner un nom précis à ce que l'on veut réellement mesurer, avec Fairlearn, et découvrir pourquoi deux définitions raisonnables de l'équité peuvent être mathématiquement incompatibles.