Module 6 — Documentation : fiches de modèles et de jeux de données

Un modèle non documenté n'est pas auditable. Un modèle bien documenté peut être contesté, corrigé et défendu. Ce module apprend à produire deux artefacts que le règlement européen sur l'IA du module 8 va rendre obligatoires pour la plupart des systèmes à fort enjeu : la fiche de modèle (model card) et la fiche de jeu de données (datasheet for datasets).

Pourquoi des fiches, et non un rapport

Les fiches ont trois qualités qu'un rapport libre n'a pas. Elles sont structurées : les mêmes rubriques sont remplies dans le même ordre pour tous les modèles de l'organisation, ce qui rend la comparaison possible. Elles sont courtes : deux à cinq pages contraignent à formuler l'essentiel plutôt qu'à noyer. Elles sont destinées à un lecteur externe — un auditeur, un régulateur, un client, un journaliste — dont on ne peut supposer ni la compétence technique complète ni la patience infinie.

L'article fondateur Model Cards for Model Reporting de Mitchell, Wu, Zaldivar et coauteurs (2019) a fixé la structure aujourd'hui reprise par le règlement européen sur l'IA, par les fournisseurs de plateforme (Hugging Face en tête) et par plusieurs régulateurs sectoriels.

Le gabarit d'une fiche de modèle

Voici les huit rubriques qui reviennent partout, avec leur contenu attendu pour notre modèle de crédit.

Détails du modèle. Nom, version, date, personnes ou équipe responsable, contact, licence, référence du dépôt de code. Sur le fil rouge : « Cetelinéa CréditScore v2.3, entraîné le 12 février 2026, équipe Risque Analytique, contact credit-analytics@cetelinea.example, usage interne uniquement ».

Usage prévu. Décrire précisément le cas d'usage cible, les utilisateurs prévus, et le contexte de déploiement. « Ce modèle assiste la décision d'octroi de prêts à la consommation de 500 à 20 000 euros pour des particuliers résidant dans l'Union européenne. La décision finale reste prise par un conseiller humain. »

Usages hors périmètre. Écrire ce que le modèle ne doit pas être utilisé pour. « Ce modèle ne doit pas être utilisé pour des prêts immobiliers, des prêts professionnels, des demandeurs mineurs, ou toute prise de décision entièrement automatisée sans intervention humaine. »

Métriques de performance. Métriques utilisées, valeurs, intervalles de confiance, décomposition par sous-groupe. Ne pas se limiter à une exactitude globale : reporter au minimum l'aire sous la courbe ROC, la sensibilité et la spécificité au seuil retenu, et la même chose par sous-groupe avec Fairlearn (module 3).

Données d'entraînement et d'évaluation. Renvoyer à la fiche de jeu de données (ci-dessous) ; préciser la date de collecte, la taille, la répartition d'apprentissage et de test, et les traitements appliqués.

Considérations éthiques. Biais identifiés (module 2), métriques d'équité retenues et justifiées (module 3), variables sensibles utilisées ou exclues, méthode d'explication utilisée (module 4). Cette rubrique ne peut jamais être « aucun biais détecté » ; toujours, au minimum, « biais résiduel A dans le sens B, mitigation appliquée C, écart résiduel D ».

Limites et risques. Ce que le modèle rate systématiquement, les populations sous-représentées, la fenêtre temporelle de validité, la dérive attendue. « Le modèle a été entraîné sur des données pré-crise énergétique de 2022 et pourrait sous-estimer le risque de défaut lié à l'inflation. Une revalidation trimestrielle est en place. »

Recommandations d'usage. Comment interpréter une prédiction, qui contacter en cas de contestation, quelle procédure de recours activer (module 7).

Le gabarit d'une fiche de jeu de données

Datasheets for Datasets de Gebru, Morgenstern, Vecchione et coauteurs (2018) propose une trame en sept sections. Résumé opérationnel pour le fil rouge.

Motivation. Pourquoi ce jeu a-t-il été constitué, par qui, pour qui, avec quel financement. « Constitué en interne par Cetelinéa pour l'apprentissage de modèles de risque. Non destiné à la publication externe. »

Composition. Type d'instances (une ligne par demande de prêt), nombre total (378 452), variables listées avec leur type, présence de données personnelles au sens du droit applicable. Toujours indiquer si des données de mineurs, de personnes vulnérables ou de catégories particulières figurent, même en principe absentes.

Processus de collecte. Sources (formulaires en agence, formulaires en ligne, données transmises par les partenaires), période (janvier 2020 à décembre 2024), consentement obtenu, personnes exclues, taux de complétude.

Prétraitement, étiquetage. Nettoyages appliqués, valeurs manquantes traitées, définition exacte de la variable cible (« défaut = trois mensualités impayées consécutives dans les 24 mois »), qui a produit chaque étiquette (l'humain, un déclencheur automatique).

Usages. Cas prévus (entraînement du modèle CréditScore), cas déconseillés, publications ou modèles déjà entraînés dessus.

Distribution. Qui peut y accéder en interne, sous quelle procédure, pour combien de temps.

Maintenance. Nom du responsable, mécanisme de mise à jour, procédure de retrait à la demande d'une personne concernée (droit à l'effacement du module 9).

Un extrait rédigé sur le fil rouge

Pour ancrer le formalisme, voici comment se rédige la rubrique « Considérations éthiques » de la fiche du modèle CréditScore v2.3.

Considérations éthiques. Le jeu d'entraînement présente une sous-représentation des demandeurs des départements 93, 95 et 62, avec un facteur environ 0,4 par rapport à la population générale. Les métriques d'équité, calculées avec Fairlearn sur un axe géographique agrégé en deux zones, montrent après mitigation par ThresholdOptimizer : parité démographique à 3,2 points d'écart (avant : 11,1), taux de vrais positifs à 1,8 point d'écart (avant : 6,9), et une calibration résiduelle acceptable (Brier score par zone entre 0,062 et 0,068). Le choix retenu est l'égalité des chances, justifié par la priorité de ne pas priver un bon payeur d'un accès au crédit ; ce choix a été validé le 15 janvier 2026 par le comité risque en présence de la conformité et est réévalué chaque semestre. Les variables nombre_enfants et situation_familiale sont explicitement exclues des variables d'entrée. Aucune décision automatisée : la sortie du modèle est un score qui informe le conseiller, qui reste seul décisionnaire au sens de l'article 22 du RGPD.

Cinq phrases, un tableau clair pour l'auditeur, des chiffres, un choix assumé et rattaché à une gouvernance nommée. C'est le format à viser.

Ce qu'un auditeur repère immédiatement

Trois signaux de fiche incomplète, appris à force de relire des documents mal remplis.

• La rubrique « Considérations éthiques » contient une phrase de type « nous accordons une grande importance à… ». Ce n'est pas de la documentation, c'est du vernis.
• La performance est reportée en une seule métrique agrégée, sans décomposition par sous-groupe. L'auditeur suspecte immédiatement que la décomposition existe mais est gênante.
• Les usages hors périmètre sont absents. C'est la rubrique la plus difficile à remplir honnêtement et la plus lisible pour un juriste ; son absence est un aveu.

En résumé

• Les fiches structurées (modèle et jeu de données) rendent un système auditable ; un rapport libre ne joue pas ce rôle.
• Huit rubriques pour la fiche de modèle, sept pour la fiche de jeu de données ; les usages hors périmètre et la décomposition par sous-groupe sont non négociables.
• Chaque affirmation renvoie à un chiffre, une procédure ou une personne responsable ; « nous accordons de l'importance à… » n'est pas une entrée valide.
• Les fiches préparent les obligations du règlement européen sur l'IA (module 8) et la procédure de recours (module 7).

Module suivant : décider qui, humain, valide, arbitre ou peut renverser la décision du modèle — et comment concevoir une voie de recours qui fonctionne.