Récapitulation et examen final

Dix modules pour passer d'un dossier de PDF disparates à un assistant qui répond en citant ses sources. Voici le cours condensé, puis les fils qui le traversent, puis l'annonce de l'examen.

Le cours d'un coup d'œil

Module	L'essentiel à retenir
1. Pourquoi ancrer	On affine pour un style, on ancre pour un fait ; le contexte long ne remplace pas RAG dès quelques dizaines de pages
2. Extraction	Un PDF n'est pas du texte : reconstituer l'ordre, isoler les tableaux, OCR à 300 dpi ; toujours garder les métadonnées
3. Découpage	Découper par phrase ou par section, 200 à 600 jetons avec 10 à 20 % de chevauchement, tableaux traités à part
4. Plongements	Modèle multilingue à licence ouverte, préfixes distincts pour question et passage, index HNSW, filtre métadonnées
5. Recherche hybride	BM25 + dense fusionnés en RRF ; les acronymes n'existent que dans le lexical
6. Reclassement	Encodeur croisé sur 20 candidats pour garder 5 ; imposer la diversité par source
7. Consigne et citations	Ordre « meilleur aux extrémités », phrase d'abstention littérale, citation à la phrase, pas à la fin
8. Évaluation	Rappel, fidélité, abstention mesurés séparément sur 50 à 200 questions annotées, dont 20 % sans réponse
9. Cache et coûts	90 % du coût est la génération ; cacher les plongements, rattacher le cache de réponses à la version d'index
10. Projet complet	Cent lignes de FastAPI, permissions filtrées à deux niveaux, analyse hebdomadaire des échecs

Les fils qui traversent le cours

RAG déplace le problème, il ne le supprime pas. Un modèle nu hallucine sur ce qu'il ne sait pas. Un modèle ancré hallucine moins mais peut affirmer avec assurance une fausseté qu'il croit tirer d'un passage. C'est un progrès, mais c'est aussi une nouvelle classe d'erreurs — plus rares, plus insidieuses, plus difficiles à repérer sans mesure de fidélité. C'est la raison pour laquelle l'évaluation n'est pas un module optionnel du cours mais une infrastructure sans laquelle le reste n'est pas défendable.

Chaque module est une réponse à un mode d'échec du précédent. L'extraction règle les erreurs de format qui invalideraient tout ce qui suit. Le découpage règle les coupures qui rendent la recherche aveugle. La recherche hybride règle ce que le dense manque. Le reclassement règle ce que la recherche approximative laisse mal ordonné. La consigne règle ce que le modèle ferait par défaut. Un système en production échoue toujours par le maillon le moins soigné — c'est pour cela que l'arbre de diagnostic du module 10 ne renvoie pas à un seul module mais toujours à un endroit précis dans la chaîne.

Ce qui compte ne se voit pas à l'œil, ce qui se voit à l'œil trompe. Un système RAG dont on essaie trois questions donne systématiquement l'impression d'être bon. Le seul régime honnête est de fixer un jeu annoté avant de coder, de mesurer avant chaque changement, et de comparer les régressions module par module. Les grands progrès du fil rouge — passer de 0,82 à 0,91 de rappel avec la fusion hybride, gagner 18 points de précision au premier rang avec le reclassement — ne se voient dans aucune démonstration ; ils se voient dans un tableur.

L'arbre de diagnostic « la réponse est mauvaise, où chercher »

Quand un utilisateur signale une mauvaise réponse, la question n'est jamais « qui a fait quoi mal ». C'est « lequel des dix modules a laissé passer l'erreur ». Cet arbre est le point de départ :

« Reponse mauvaise »
│
├── Le systeme dit « je ne trouve pas » alors que ca existe ?
│     → recherche (mod. 3, 4, 5) — passage jamais remonte
│
├── Reponse ne cite aucun extrait ?
│     → consigne (mod. 7) — contrainte de citation absente
│
├── Reponse cite un extrait qui n'appuie pas l'affirmation ?
│     → fidelite (mod. 8) — modele qui recolle a sa memoire
│
├── Reponse cite le mauvais extrait (extrait hors sujet) ?
│     → reclassement (mod. 6) — encodeur croise defaillant
│
├── Reponse invente une donnee (chiffre, nom, date) ?
│     → module 7 (abstention) + module 8 (fidelite)
│
├── Reponse divulgue un document confidentiel ?
│     → permissions (mod. 4 + 10) — filtre non applique
│
└── Reponse coute plus cher que d'habitude ?
      → mod. 9 — longueur de sortie non plafonnee

Un utilisateur qui décrit son incident permet, avec cet arbre, de savoir en trois questions où regarder — ce qui économise en pratique des jours d'investigation à l'aveugle.

L'examen final

L'examen comporte 40 questions couvrant les dix modules : distinction entre RAG, affinage et contexte long, choix des paramètres d'extraction selon le format, décisions de découpage face à un tableau ou une section longue, choix du modèle de plongement et des filtres, construction d'une requête hybride avec fusion RRF, réglage du reclasseur, écriture d'une consigne avec abstention et citations vérifiables, mesure de fidélité et de rappel séparément, mise en cache et rattachement à la version d'index, et assemblage complet avec permissions.

Plusieurs questions présentent des situations à diagnostiquer : un acronyme introuvable en recherche purement dense, un tableau du règlement intérieur cassé par un découpage naïf, une réponse fidèle à un passage qui n'était pas celui qu'il fallait, une régression après changement de modèle de plongement sans réindexation, un cache qui sert l'ancienne politique de télétravail deux jours après sa mise à jour. C'est le jugement qui est évalué, pas la mémorisation des signatures de bibliothèques.

En cas de réussite, votre attestation d'achèvement est délivrée immédiatement ; son numéro est vérifiable par tout tiers sur la plateforme.

Avant de commencer

Reprenez le tableau ci-dessus et, pour chaque ligne, demandez-vous « quel symptôme verrais-je si je me trompais ici ? ». Si vous savez expliquer pourquoi la fusion RRF n'a pas besoin de normaliser les scores, pourquoi la précision d'abstention se mesure séparément du rappel, et pourquoi un cache de réponses doit dépendre de la version d'index, vous êtes prêt. Bonne chance !

Examen final

Prêt à valider ce cours ?

40 questions tirées au hasard dans la banque du cours · seuil de réussite 70 % · certificat PDF vérifiable délivré immédiatement en cas de réussite.

Commencer l'examen

Connexion à votre compte InSkillML et abonnement actif requis. Vous pouvez aussi lancer l'examen depuis Mes cours.