Module 10 — Étude de cas : audit d'un système de décision

Ce module rejoue l'ensemble du cours sur le fil rouge. Cetelinéa a mis en production son modèle CréditScore v2.0 il y a dix-huit mois, sans les artefacts que les modules 1 à 9 ont introduits. Un audit interne, commandité par la direction risque à la suite d'une plainte relayée par la presse régionale, produit un rapport de vingt pages. Nous en donnons ici la trame et les principaux constats, tels qu'ils apparaîtraient à un auditeur externe.

La grille d'audit en dix points

L'auditeur pose dix questions dans un ordre qui reproduit la chaîne de production du modèle. À chaque question, il attend un artefact ; à défaut, un constat.

1. Cadrage. Quelle est la finalité écrite du système ? Qui en est le responsable nommé ?
2. Base légale et registre. Quelle base légale au sens du RGPD ? Où est le registre des traitements ?
3. Données. Qui a été inclus, qui a été exclu, quels biais de collecte et d'étiquetage ?
4. Modèle. Quelle famille, quel entraînement, quelle version en production, quelle traçabilité ?
5. Équité. Quelles métriques par sous-groupe, quel choix motivé, quel écart résiduel ?
6. Explicabilité. Quelle méthode locale, quel test d'instabilité, quelle notice au demandeur ?
7. Vie privée. Quelle anonymisation, quel budget de confidentialité, quelles attaques testées ?
8. Supervision humaine. Quelle posture (dans, sur, hors de la boucle) ? Quel taux de renversement ?
9. Recours. Procédure décrite, délai tenu, voie externe indiquée, journalisation opérationnelle ?
10. Conformité règlement européen sur l'IA. Classement du système, documentation technique, plan d'action pour la date d'application.

Les dix questions correspondent aux modules 1 à 9 plus la synthèse. C'est l'ordre naturel pour un lecteur externe qui découvre le système.

Constats de l'audit Cetelinéa

Sur le cadrage. Le système est cité dans une note de service datée de 2023, sans finalité formalisée. Le responsable identifié a changé de fonction ; personne n'a repris officiellement le rôle. Constat critique.

Sur les données. La fiche de jeu de données n'existe pas. L'entrepôt contient les données depuis 2017, mais l'entraînement effectif se fonde sur les cinq dernières années — cette décision n'est écrite nulle part. Les demandeurs des départements 93, 95 et 62 sont sous-représentés d'un facteur 0,4 sans que cette anomalie ait été traitée. Constat critique.

Sur le modèle. LightGBM version 3.3, entraîné en juillet 2024, jamais réentraîné depuis. Aucun MLflow ni équivalent : les hyperparamètres exacts et la graine aléatoire ont été partiellement perdus quand la machine de recherche a été redéployée. Non-conformité claire à l'article 12 du règlement sur l'IA (journalisation) une fois qu'il sera applicable. Constat critique.

Sur l'équité. Aucune métrique par sous-groupe calculée. L'audit produit lui-même la mesure : parité démographique à 11,1 points d'écart entre deux zones, taux de vrais positifs à 6,9 points, Brier score par zone entre 0,058 et 0,081. Aucun de ces écarts n'était connu de la direction risque. Constat majeur, remédiable.

Sur l'explicabilité. Aucune explication locale n'accompagne les décisions. Les conseillers reçoivent uniquement le score et un label « recommandé ». La notice remise au demandeur refusé mentionne « un ensemble de critères objectifs » sans détail. Non-conformité à l'article 22 du RGPD sur la décision automatisée (droit à une information significative). Constat critique.

Sur la vie privée. Le jeu d'entraînement contient noms, dates de naissance et adresses. Aucun k-anonymat, aucune confidentialité différentielle. L'audit exécute une attaque par inférence d'appartenance sur l'API interne et obtient 63 % de succès sur un échantillon de 200 profils publics. Constat critique.

Sur la supervision humaine. Officiellement, les conseillers valident. Le taux de renversement mesuré sur trois mois est de 0,4 %, très loin des 5 à 15 % attendus pour une supervision effective. La procédure de recours existe sur un intranet difficilement accessible ; sur les 128 recours identifiés dans les journaux, la moitié n'a pas reçu de réponse motivée dans les 30 jours. Constat critique.

Sur le classement règlement européen. Aucune analyse n'a été menée. L'audit établit le classement : haut risque au titre de l'annexe III (évaluation de solvabilité), avec obligation d'être conforme à la date d'application. Le service conformité n'était pas informé du projet. Constat critique.

Bilan : sept constats critiques, un constat majeur remédiable, un système à mettre en conformité en priorité absolue.

Le plan de remédiation

L'audit ne se contente pas de constater ; il propose un plan chiffré, ordonné, et rattaché à une gouvernance nommée.

Actions immédiates (30 jours).

• Formaliser la finalité, désigner un responsable et un délégué de projet, ouvrir un registre MLflow pour la traçabilité des futures versions.
• Retirer les identifiants directs du jeu utilisé pour l'entraînement, appliquer un k-anonymat sur les quasi-identifiants (k = 5).
• Ajouter une explication SHAP locale à chaque décision affichée au conseiller, avec une notice type au demandeur refusé qui liste les trois facteurs principaux et la procédure de recours.

Actions à moyen terme (90 jours).

• Rédiger la fiche de jeu de données et la fiche de modèle selon les gabarits du module 6.
• Recalculer les métriques d'équité avec Fairlearn, arbitrer entre les définitions au comité risque, retenir l'égalité des chances, appliquer une mitigation par ThresholdOptimizer avec deux seuils par zone documentés.
• Réviser la procédure de recours : accessibilité, délai maximal de 30 jours, examinateur distinct du décideur initial, voie externe (médiateur bancaire) précisée dans la notice.

Actions à long terme (avant la date d'application du règlement européen sur l'IA).

• Réaliser l'analyse d'impact relative à la protection des données (AIPD), la transmettre au délégué à la protection des données puis au régulateur en cas de consultation.
• Établir la documentation technique complète au titre de l'article 11 du règlement européen sur l'IA.
• Mettre en place un dispositif de surveillance de dérive et un plan de réentraînement semestriel programmé.
• Explorer une variante DP-SGD (Opacus) pour l'entraînement, avec budget ε cible autour de 3 pour une éventuelle publication interne ou audit externe.

Ce qui aurait dû être fait avant le déploiement

Trois gestes auraient coûté deux semaines chacun et prévenu la moitié des constats critiques.

Une fiche de modèle minimale, avec usage prévu, usages hors périmètre, considérations éthiques et métriques par sous-groupe. Elle aurait forcé, dès la première rédaction, à mesurer l'écart de 11 points et à décider quoi en faire.

Une analyse d'impact relative à la protection des données. Elle aurait révélé l'absence de base légale claire pour certaines variables, forcé la consultation du délégué à la protection des données, et vraisemblablement écarté deux ou trois variables qui posent problème.

Un plan de supervision humaine avec taux de renversement suivi. Il aurait rendu visible, dès les premières semaines, que la boucle humaine était nominale — au lieu de le découvrir dix-huit mois plus tard par l'audit.

Ce que dit cet audit du reste du secteur

Le cas Cetelinéa n'est pas exceptionnel ; il est typique. La plupart des systèmes de décision individuelle en production dans les banques françaises présentent, en 2026, entre trois et sept des constats critiques ci-dessus. C'est précisément pour cette raison que le règlement européen sur l'IA et son application progressive imposent un rattrapage à l'échelle de tout le secteur. L'audit responsable n'est pas un exercice de niche : c'est ce qui va se généraliser dans les deux prochaines années.

En résumé

• Une grille en dix points — cadrage, base légale, données, modèle, équité, explicabilité, vie privée, supervision, recours, règlement européen — reproduit la chaîne de production et rend l'audit reproductible.
• L'audit Cetelinéa révèle sept constats critiques, tous prévisibles à la lecture des modules 1 à 9 ; la plupart s'expliquent par l'absence de documentation et de mesure.
• Le plan de remédiation s'ordonne en actions immédiates, à 90 jours et avant l'application du règlement ; chaque action a un responsable nommé.
• Trois gestes préventifs — fiche de modèle, analyse d'impact, plan de supervision — auraient évité la moitié des constats critiques.

Module suivant : la synthèse du cours, la liste de contrôle avant déploiement, et l'annonce de l'examen final.