Module 7 — Supervision humaine et voies de recours

Un système à fort enjeu doit prévoir une double sécurité : un humain qui peut renverser la décision avant qu'elle ne produise ses effets, et une procédure de recours qui permet à la personne concernée d'obtenir un réexamen après. Ce module décrit les deux, avec leurs pièges bien identifiés.

Trois postures de supervision

Le vocabulaire anglais a fait carrière : human in the loop, human on the loop, human out of the loop. Traduit et nuancé, cela donne trois postures aux enjeux radicalement différents.

Humain dans la boucle. Chaque prédiction du modèle est soumise à un humain qui la valide ou l'infirme avant que la décision ne soit exécutée. C'est la posture retenue pour l'octroi de crédit chez Cetelinéa : le score est affiché au conseiller, qui l'utilise comme aide mais reste seul auteur de la décision. Cette configuration a l'avantage de la protection maximale, l'inconvénient de la charge : elle ne tient pas à grande échelle si le volume dépasse la capacité humaine, et elle expose au biais d'automatisation décrit plus bas.

Humain sur la boucle. Le modèle décide seul dans le flux normal, mais un humain surveille les indicateurs agrégés et peut intervenir sur les cas signalés (par exemple, les scores incertains ou les cas signalés par un système de détection). C'est la posture des systèmes de recommandation de contenu, ou du filtrage anti-spam. Elle passe à l'échelle mais laisse un individu subir la décision sans recours immédiat.

Humain hors de la boucle. Le modèle décide seul, aucun humain n'intervient dans la chaîne. Cette posture est incompatible avec les décisions à fort enjeu affectant des personnes ; le module 8 verra qu'elle est soit interdite, soit encadrée par des obligations lourdes selon le règlement européen sur l'IA, et le module 9 verra qu'elle heurte frontalement le droit à ne pas subir une décision purement automatisée.

Le biais d'automatisation

Placer un humain dans la boucle ne suffit pas. Un vaste corpus de recherche en aviation, en médecine et en justice pénale documente le biais d'automatisation : lorsqu'un opérateur reçoit une recommandation d'un système jugé compétent, il tend à s'y ranger, même lorsque les informations qu'il possède devraient l'en éloigner.

Sur le fil rouge, un conseiller de Cetelinéa qui voit le score « refus recommandé, probabilité de défaut : 0,58 » retient ce chiffre comme référence et cherche ce qui pourrait la confirmer plutôt que ce qui pourrait la contredire. Une étude interne fictive mais typique montrerait que le taux d'accord entre humain et modèle dépasse 96 % — pas parce que le modèle est infaillible, mais parce que l'humain a délégué son jugement.

Trois contre-mesures documentées.

• Cacher le score pendant un premier examen. Le conseiller étudie le dossier, forme un avis, puis compare avec le modèle. C'est plus lent, c'est efficace.
• Rendre l'incertitude explicite. Un score n'est jamais 0,58, il est 0,58 avec un intervalle de confiance. Afficher cet intervalle rappelle qu'il y a du choix à faire.
• Mesurer et publier le taux de renversement. Si aucun conseiller ne renverse jamais un score, la supervision humaine est nominale, pas réelle. Un taux de renversement raisonnable (5 à 15 % selon le domaine) prouve que la boucle est vivante.

Le droit à l'explication et son ambiguïté

La législation européenne évoque un droit à obtenir « une information significative sur la logique sous-jacente » d'une décision automatisée. Les débats juridiques n'ont pas tranché la profondeur exacte de ce droit — jusqu'où doit-on décrire le modèle ? faut-il révéler les poids ? une explication SHAP locale suffit-elle ? — mais un consensus minimum s'est dégagé.

L'information doit être compréhensible par la personne concernée, sans exiger d'elle une compétence technique. Elle doit être individuelle : ce que le modèle regarde chez cette personne précisément, pas seulement en général. Elle doit être actionnable : la personne doit pouvoir en tirer une conduite si elle souhaite obtenir une décision différente à l'avenir (par exemple : « votre taux d'endettement calculé dépasse 38 % ; le seuil interne est de 33 % »).

La rédaction concrète chez Cetelinéa donne, sur un refus, une notice type : « Votre demande de prêt a été refusée. Les principaux facteurs, dans l'ordre d'importance, sont : deux incidents de paiement sur les douze derniers mois, un taux d'endettement mesuré à 41 %, un revenu net variable sur les six derniers mois. Vous pouvez demander un réexamen manuel dans un délai de 30 jours (procédure ci-dessous). »

La procédure de recours, en cinq étapes

Un recours qui existe sur le papier et pas en pratique ne compte pas. La grille suivante, minimale et vérifiable, structure une procédure sérieuse.

1. Accessibilité. La procédure figure sur la notice de refus, en langage clair, avec un lien ou un contact utilisable sans recréer de compte. Un formulaire caché derrière trois pages n'est pas un recours.
2. Réexamen humain. Le dossier est repris par un humain qui n'était pas dans la boucle initiale (donc, chez Cetelinéa, pas le conseiller qui a validé le refus). Cet examinateur dispose de tout le dossier, y compris de l'explication SHAP du refus.
3. Réponse motivée. Dans un délai raisonnable — 15 à 30 jours selon le domaine — la personne reçoit une réponse motivée, qui confirme, infirme, ou demande des pièces complémentaires.
4. Voie externe. Si le recours interne échoue, la notice mentionne la voie externe applicable : médiateur bancaire, autorité de protection des données, tribunal compétent.
5. Journalisation. Chaque recours est enregistré avec sa cause, son issue, et un lien vers le dossier. L'analyse trimestrielle de ces recours nourrit les mises à jour du modèle et de la fiche.

Ce qui casse le recours en pratique

Trois pièges répétés que même les organisations de bonne foi commettent.

L'examinateur voit d'abord la décision initiale. Il est humain, il est occupé, il confirme dans 95 % des cas. Bonne pratique : présenter le dossier à l'examinateur avant de lui montrer la décision antérieure.

Le délai n'est pas tenu. Une réponse au bout de 90 jours vaut, en pratique, un refus définitif. Suivre le respect du délai comme une métrique de service, publier son percentile 95.

Le recours ne peut pas modifier le modèle. Si un recours révèle qu'une variable est mal utilisée, le retour vers l'équipe qui entretient le modèle doit exister. Sinon, chaque cas se règle sans que la cause s'améliore.

En résumé

• Trois postures — humain dans, sur ou hors de la boucle — aux enjeux radicalement différents ; les décisions à fort enjeu excluent la troisième.
• Le biais d'automatisation rend une supervision nominale ; le mesurer par le taux de renversement, exposer l'incertitude.
• Le droit à l'explication exige une information compréhensible, individuelle et actionnable ; une notice type se rédige et se relit.
• Une procédure de recours vaut par cinq propriétés — accessibilité, réexamen humain distinct, réponse motivée, voie externe, journalisation — et par les métriques qui prouvent qu'elle est vivante.

Module suivant : le règlement européen sur l'IA, sa pyramide de risques, et la place précise d'un système d'octroi de crédit dans cette pyramide.