Module 10 — Les limites actuelles et les pistes de progrès

Dernier module de cours : un état des lieux daté — celui du milieu des années 2020 — des limites structurelles de la technologie et des directions de recherche qui tentent de les repousser. L'objectif n'est pas l'exhaustivité mais la lucidité : savoir ce que les systèmes actuels ne savent pas faire est aussi utile que connaître leurs capacités.

Cinq limites structurelles

La faim de données. Un enfant reconnaît une girafe après en avoir vu deux ; un modèle de vision standard en demande des milliers. L'apprentissage statistique reste fondamentalement inefficace en exemples comparé à l'apprentissage humain. Conséquence pratique : les domaines pauvres en données — maladies rares, pannes exceptionnelles, langues peu dotées — restent mal servis.

La fragilité hors distribution. Un modèle performant sur sa distribution d'entraînement peut échouer brutalement — et silencieusement — sur des entrées légèrement différentes : un capteur remplacé, un format modifié, une population nouvelle (modules 5 et 9). Les humains se dégradent gracieusement face à l'inhabituel ; les modèles actuels, non. Ils ne savent pas qu'ils ne savent pas.

L'opacité. Un réseau de milliards de paramètres ne fournit pas, par construction, de justification de ses sorties. Or des pans entiers d'activité — crédit, santé, justice, assurance — exigent des décisions explicables, par éthique et par réglementation. Les techniques d'explicabilité (XAI) produisent des indices utiles (quelles variables ont pesé), pas des explications complètes ; l'écart entre ce que le droit demande et ce que la technique fournit reste un chantier ouvert.

Le coût. L'entraînement des plus grands modèles se chiffre en dizaines de millions de dollars de calcul, avec l'empreinte énergétique correspondante ; leur inférence à grande échelle n'est pas gratuite non plus. Ce coût concentre la capacité d'entraîner des modèles de pointe entre quelques acteurs — une question industrielle et politique autant que technique.

Le raisonnement et le monde. Les systèmes actuels excellent en reconnaissance de régularités ; ils restent peu fiables en raisonnement multi-étapes vérifiable, en arithmétique, en planification longue, et n'ont aucune prise directe sur le monde physique. Les modèles de langage produisent du texte plausible — y compris quand il est faux (les hallucinations) : la plausibilité n'est pas la vérité.

Les pistes qui structurent la recherche

En face de chaque limite, des directions de travail actives — à connaître pour lire l'actualité du domaine sans s'y perdre.

Apprendre avec moins. Transfert d'apprentissage (partir d'un modèle pré-entraîné, l'adapter avec peu d'exemples — déjà la norme), apprentissage en quelques exemples (few-shot), données synthétiques, auto-supervision (module 6). C'est la piste la plus mûre : elle a déjà changé la pratique.

Quantifier l'incertitude et détecter l'inhabituel. Faire produire au modèle non seulement une prédiction mais un degré de confiance calibré, et détecter les entrées hors distribution pour passer la main à l'humain. Essentiel pour les usages critiques ; les méthodes existent, leur fiabilité reste inégale.

Ouvrir la boîte. Explicabilité post-hoc (attribuer la sortie aux entrées), modèles contraints à être interprétables là où l'enjeu le justifie, et — plus récent — interprétabilité mécaniste : comprendre les circuits internes des réseaux. Un champ jeune, aux résultats partiels mais réels.

Réduire les coûts. Distillation (compresser un grand modèle en petit), quantification (réduire la précision numérique), architectures efficaces, matériel spécialisé. Le cours sur les petits modèles de langage (SLM) détaille cette piste, dont les progrès sont rapides et très concrets.

Hybrider. Combiner l'apprentissage statistique avec ce qui lui manque : outils externes (calculatrice, base de données, moteur de recherche — l'approche des agents), récupération de connaissances vérifiables (le RAG, objet d'un cours dédié), vérification symbolique des sorties. L'intuition commune : ne pas tout demander au modèle, l'entourer d'un système.

Lire l'avenir sans boule de cristal

Trois principes pour évaluer les annonces à venir — dans six mois comme dans six ans.

Chercher le facteur qui a changé. Données, calcul, algorithme : toute percée réelle s'explique par au moins l'un des trois (module 2). Une annonce qui n'en invoque aucun est une opération de communication.

Distinguer démonstration et déploiement. Le chemin entre « ça marche en démo » et « ça tient en production sur des cas réels » est précisément ce que ce cours a cartographié : données, évaluation honnête, robustesse, surveillance. La plupart des annonces spectaculaires sont des démonstrations.

Se méfier des extrapolations linéaires. Le domaine progresse par paliers et plateaux, pas en ligne droite. Les prédictions confiantes — enthousiastes ou catastrophistes — ont un historique de fiabilité médiocre dans les deux sens.

Votre avantage durable

Les outils changeront ; les questions de ce cours — quelles données, quelle métrique, quel coût d'erreur, quelle validité, quelle surveillance — resteront. Elles s'appliqueront telles quelles à la prochaine génération de systèmes. C'est la partie de votre apprentissage qui ne se démodera pas.

Ce qu'il faut retenir

• Cinq limites structurelles : faim de données, fragilité hors distribution, opacité, coût, raisonnement — toutes actives, aucune résolue.
• Cinq pistes en face : apprendre avec moins, calibrer l'incertitude, ouvrir la boîte, réduire les coûts, hybrider le modèle avec des outils.
• Grille de lecture des annonces : quel facteur a changé, démonstration ou déploiement, méfiance envers les extrapolations.
• Les questions de méthode de ce cours survivront aux outils actuels.

Il ne reste qu'une étape : la page de récapitulation, puis l'examen de 40 questions qui valide le parcours et délivre votre attestation.