Leçon 3 — L'explicabilité
Deux choses très différentes portent le même nom
Il faut distinguer deux approches que le vocabulaire courant confond, parce qu'elles n'offrent pas les mêmes garanties.
Un modèle interprétable est un modèle dont le fonctionnement est directement lisible. Une régression logistique donne un coefficient par variable ; un arbre de décision de faible profondeur se lit comme une suite de règles ; un système de scores additifs s'énonce en une phrase. L'explication est le modèle.
Une explication a posteriori est une approximation calculée après coup pour un modèle dont on ne peut pas lire le fonctionnement. On observe ses réponses et on construit un récit plausible de ce qui a compté.
La différence est fondamentale : dans le premier cas l'explication est exacte ; dans le second elle est estimée, et deux méthodes peuvent produire des explications différentes du même modèle sur la même décision.
Ce que les méthodes courantes fournissent
L'importance des variables classe les variables par leur contribution globale au modèle. C'est utile pour comprendre un modèle dans son ensemble, et cela ne dit rien d'une décision individuelle.
SHAP attribue à chaque variable sa contribution à une prédiction précise, sur une base théorique solide issue de la théorie des jeux. C'est la méthode la plus utilisée, et elle coûte cher à calculer sur de grands modèles.
LIME ajuste localement un modèle simple autour du point à expliquer. Rapide, intuitif, et instable : deux exécutions peuvent donner des explications différentes, ce qui pose problème dès qu'il s'agit de justifier une décision.
Les explications contrefactuelles répondent à la question réellement posée par la personne concernée : « qu'aurait-il fallu changer pour que la décision soit différente ? » Un revenu supérieur de 200 €, deux mois d'ancienneté en plus. C'est souvent la forme la plus utile, parce qu'elle est actionnable, et elle exige de vérifier que le changement suggéré est réalisable.
Les cartes de saillance montrent les zones d'une image qui ont pesé. Elles sont très parlantes visuellement, et c'est aussi leur danger : elles inspirent une confiance supérieure à leur fiabilité réelle, et plusieurs travaux ont montré que certaines variantes produisent des cartes quasi identiques pour un modèle entraîné et pour un modèle aux poids aléatoires.
Ce qu'une explication ne fournit pas
Quatre limites qu'il faut énoncer clairement, parce qu'elles sont régulièrement franchies.
Ce n'est pas une causalité. Une explication décrit ce que le modèle a utilisé, pas comment le monde fonctionne. Si le modèle s'appuie sur une corrélation fortuite, l'explication le rapportera fidèlement, et cette fidélité n'en fait pas une vérité.
Ce n'est pas une preuve d'équité. Une explication qui ne mentionne aucune variable sensible ne démontre rien : les substituts vus en leçon 1 portent l'information sous d'autres noms. L'équité se mesure sur des populations, elle ne se déduit pas d'une explication individuelle.
Ce n'est pas nécessairement stable. Une explication qui change d'une exécution à l'autre, ou qui varie fortement pour deux cas presque identiques, n'est pas exploitable pour justifier une décision.
Ce n'est pas compréhensible d'office. « La variable 47 contribue à hauteur de 0,23 » n'est pas une explication pour la personne concernée. Une explication n'existe que si son destinataire la comprend — et le destinataire, l'ingénieur, l'auditeur et le client n'ont pas besoin de la même.
À qui s'adresse l'explication ?
Trois destinataires, trois formes.
La personne concernée veut savoir ce qu'elle peut faire. La bonne réponse est contrefactuelle et actionnable : « votre demande a été refusée principalement en raison d'un endettement supérieur au seuil ; en le ramenant sous 35 %, votre dossier serait réexaminé favorablement. »
L'équipe technique veut déboguer. Les contributions numériques, les comparaisons entre cas et les tests de dépendance sont adaptés, y compris s'ils sont illisibles pour un non-spécialiste.
L'auditeur ou le régulateur veut vérifier le processus : quelles données, quelles variables, quels tests d'équité, quel propriétaire, quelle voie de recours. C'est de la documentation, pas de l'interprétation de modèle — et c'est souvent ce qui manque le plus.
Ce que le droit exige
Le cadre européen est plus nuancé que la formule « droit à l'explication » ne le suggère.
Le RGPD impose, pour une décision entièrement automatisée ayant un effet juridique ou significatif, d'informer la personne de l'existence de ce traitement, de la logique sous-jacente, ainsi que des conséquences envisagées. Il donne également droit à une intervention humaine et à la contestation de la décision.
Deux précisions utiles :
- La « logique sous-jacente » n'a pas été interprétée comme une exigence de divulguer le modèle ou ses poids. Une description compréhensible des critères principaux est généralement attendue.
- Le droit à l'intervention humaine est en pratique la garantie la plus forte, et la moins souvent correctement mise en œuvre : il suppose une personne réellement en mesure d'examiner et de modifier la décision, pas un formulaire sans effet.
Le règlement européen sur l'intelligence artificielle ajoute, pour les systèmes classés à haut risque, des obligations de documentation technique, de transparence envers les utilisateurs et de supervision humaine — détaillées dans la leçon 4.
Quand choisir un modèle simple
Le compromis est réel : les modèles interprétables sont souvent un peu moins performants. La question est de savoir ce que vaut cette différence.
Choisissez l'interprétable quand : la décision affecte des droits — crédit, emploi, santé, justice, prestations sociales ; la conformité exige une justification ; un professionnel doit pouvoir contredire le système en connaissance de cause ; ou l'écart de performance est faible, ce qui est le cas plus souvent qu'on ne le suppose sur des données tabulaires.
Le complexe se justifie quand : les données sont brutes — images, son, texte libre — et l'interprétable n'est pas une option ; l'écart de performance est important et l'enjeu le rend décisif ; et l'erreur reste peu coûteuse.
Sur des données tabulaires bien préparées, l'écart entre un modèle simple et un modèle complexe est souvent de un à trois points. Sacrifier deux points de précision pour obtenir un système que l'on peut expliquer, auditer et défendre est, dans la majorité des contextes régulés, le meilleur échange disponible.
L'erreur inverse — un modèle opaque déployé sur une décision sensible pour gagner un point — se paie beaucoup plus cher le jour où il faut justifier une décision individuelle.
À retenir
- Distinguer le modèle interprétable, dont l'explication est exacte, de l'explication a posteriori, qui est une approximation.
- SHAP est solide et coûteux, LIME rapide et instable, les contrefactuels les plus utiles pour la personne concernée, les cartes de saillance séduisantes et peu fiables.
- Une explication n'est ni une causalité, ni une preuve d'équité, ni forcément stable, ni compréhensible d'office.
- Trois destinataires, trois formes : actionnable pour la personne, numérique pour l'équipe, documentaire pour l'auditeur.
- Le droit européen exige la logique sous-jacente et surtout une intervention humaine réelle.
- Sur données tabulaires, l'écart de performance est souvent de un à trois points : le modèle interprétable est fréquemment le meilleur choix sur une décision sensible.
Leçon suivante — Les données personnelles : RGPD et règlement sur l'IA →