Module 4 — Alignement : RLHF et méthodes par préférences

Un modèle instruit répond dans le bon format. Ce n'est pas assez : entre deux réponses toutes deux dans le bon format, l'une peut être polie et prudente, l'autre agressive ou dangereuse. C'est l'objet de l'alignement. Pour notre assistant de support, l'enjeu est concret : ne pas insulter un client mécontent, ne pas promettre un remboursement que l'entreprise n'accordera pas, refuser de générer une phrase discriminante. Ce module présente les deux grandes familles de méthodes, RLHF et DPO, et surtout les pièges dans lesquels elles tombent.

Pourquoi le SFT ne suffit pas

L'affinage supervisé du module 3 apprend au modèle à imiter des réponses écrites par des humains. C'est efficace pour installer un format, mais insuffisant pour trois raisons.

• Il faut une réponse écrite pour chaque cas. On ne peut pas montrer par l'exemple ce qui doit être évité — un jeu de mauvaises réponses annoté avec « ne fais pas ça » n'a aucun sens pour la cible d'entropie croisée.
• Deux réponses correctes ne sont pas également désirables. Le SFT n'a pas de mécanisme pour préférer l'une à l'autre.
• Les humains savent souvent classer deux réponses plus vite qu'ils ne savent écrire la meilleure. Les données de préférence sont beaucoup moins coûteuses à collecter que des réponses idéales.

L'alignement par préférences résout ces trois problèmes en apprenant depuis des paires (réponse préférée, réponse rejetée) plutôt qu'un texte cible unique.

RLHF en trois étapes

RLHF, pour reinforcement learning from human feedback, a été popularisé par InstructGPT (Ouyang et al., 2022) et repris pour ChatGPT. La méthode comporte trois étapes qu'il faut voir ensemble.

1. Affinage supervisé d'un modèle instruit de départ (module 3).
2. Entraînement d'un modèle de récompense $r_\phi$ qui, à partir d'une invite $x$ et d'une réponse $y$, produit un score scalaire. Ce modèle est entraîné sur des paires humainement annotées $(x, y_{\text{préférée}}, y_{\text{rejetée}})$ avec la perte de Bradley-Terry

$$\mathcal{L}_{\text{recompense}} = -\log \sigma\bigl(r_\phi(x, y_{\text{préférée}}) - r_\phi(x, y_{\text{rejetée}})\bigr),$$

où $\sigma$ est la sigmoïde. Le modèle apprend à donner un score plus élevé à la réponse préférée. 3. Optimisation par renforcement, en général PPO (proximal policy optimization), qui met à jour la politique $\pi_\theta$ pour maximiser la récompense attendue en gardant une contrainte de KL par rapport à la politique de référence $\pi_{\text{ref}}$ :

$$\mathcal{J}(\theta) = \mathbb{E}_{x, y \sim \pi_\theta}\bigl[r_\phi(x, y)\bigr] - \beta \cdot D_{\mathrm{KL}}\bigl(\pi_\theta \parallel \pi_{\text{ref}}\bigr).$$

Le terme $\beta \cdot D_{\mathrm{KL}}$ empêche la politique de dériver trop loin du modèle de référence. Sans lui, la politique exploite les failles du modèle de récompense et devient rapidement pathologique : elle sort du langage naturel, répète des motifs qui trompent le juge, ou refuse tout pour maximiser un score de « prudence ». C'est le fameux reward hacking, la principale difficulté pratique de RLHF.

DPO, l'alternative sans renforcement

En 2023, Rafailov et al. ont proposé DPO (direct preference optimization), qui atteint le même objectif sans passer par un modèle de récompense explicite ni par PPO. L'astuce mathématique repose sur une reformulation : la politique optimale sous KL et récompense linéaire a une forme fermée, et l'on peut donc apprendre directement la politique en optimisant une perte supervisée sur les paires de préférence.

$$\mathcal{L}_{\text{DPO}} = -\log \sigma\!\left(\beta \log \frac{\pi_\theta(y_+ \mid x)}{\pi_{\text{ref}}(y_+ \mid x)} - \beta \log \frac{\pi_\theta(y_- \mid x)}{\pi_{\text{ref}}(y_- \mid x)}\right).$$

Ce que dit cette formule, en mots : on augmente la vraisemblance de la réponse préférée relativement à la référence, et on diminue celle de la réponse rejetée, avec un coefficient $\beta$ qui règle la force de l'effet. On reste dans le cadre familier de l'entropie croisée ; aucun échantillonnage de politique n'est nécessaire pendant l'entraînement.

# Illustration très simplifiee du calcul DPO sur une paire
import torch, torch.nn.functional as F

def perte_dpo(log_pi_plus, log_ref_plus, log_pi_moins, log_ref_moins, beta=0.1):
    marge = beta * ((log_pi_plus - log_ref_plus) - (log_pi_moins - log_ref_moins))
    return -F.logsigmoid(marge).mean()

Les avantages pratiques de DPO sont substantiels.

Critère	RLHF/PPO	DPO
Modèle de récompense séparé	oui	non
Échantillonnage à l'entraînement	oui	non
Stabilité	délicate, sensible aux hyperparamètres	proche d'un SFT ordinaire
Mémoire GPU	grosse (politique + récompense + référence)	politique + référence
Qualité observée	référence historique	égalise ou dépasse RLHF sur beaucoup de tâches

DPO n'est pas magique — elle repose sur les mêmes données de préférence, avec les mêmes biais annotateurs — mais elle rend l'alignement accessible à des équipes qui n'avaient pas les moyens de faire tourner un PPO stable. Depuis 2024, la plupart des modèles ouverts récents sont alignés par DPO ou l'une de ses variantes (IPO, KTO, ORPO).

Refus et sur-refus, le sujet le plus visible

L'alignement crée aussi les comportements de refus : le modèle explique qu'il ne peut pas répondre à certaines demandes. Bien réglé, c'est utile ; mal réglé, c'est un bogue majeur du produit.

Le sur-refus se manifeste par des réponses du type « Je ne peux pas fournir cette information » à des questions parfaitement bénignes. Il vient de deux mécanismes :

• Les annotateurs préfèrent, par prudence, refuser une réponse limite plutôt que de risquer une réponse offensante. Le modèle apprend à généraliser ce comportement.
• Les jeux de préférence contiennent des exemples de refus formulés de manière identique. Le modèle apprend la forme du refus plus que sa condition.

Pour notre assistant de support, le sur-refus se traduit par des messages du type « Je ne peux pas discuter de politique de remboursement » alors que c'est exactement ce que l'agent doit faire. Un jeu d'évaluation spécifique (module 9) est indispensable pour mesurer ce phénomène.

L'alignement n'est pas une garantie

Un modèle aligné reste manipulable. Les demandes déguisées, les invitations à jouer un rôle, la mise en scène « imaginons que… », toutes ces techniques dites de jailbreak contournent régulièrement l'alignement. Aucun modèle en 2026 n'est robuste à toutes ces attaques. L'alignement réduit le risque, il ne l'élimine pas ; c'est un composant du dispositif de sûreté, pas la totalité.

Ce que l'alignement ne fait pas

Trois croyances tenaces méritent d'être écartées.

• Alignement n'est pas vérité. Un modèle aligné qui hallucine (module 7) hallucine avec une prose polie ; l'alignement n'a rien à voir avec la factualité, sauf indirectement via l'annotation.
• Alignement n'est pas compétence. Sur les tâches de raisonnement pur, l'alignement ne change presque rien à la performance ; les progrès viennent des données de préentraînement et du SFT.
• Alignement n'est pas universel. Les préférences des annotateurs reflètent leur culture, leur langue, leur cadre juridique. Un modèle aligné pour un public américain a un ton et des tabous qui ne coïncident pas avec ceux d'un public francophone.

Cette dernière limite est l'une des motivations les plus fortes pour construire son propre jeu de préférence à partir d'un corpus d'échanges internes, quitte à ne modifier que quelques centaines d'exemples.

Aligner sur ses propres préférences

Pour notre assistant, une centaine de paires soigneusement annotées par les responsables du support — « réponse A meilleure que réponse B parce que… » — suffisent à corriger les biais de ton hérités du modèle public. Un DPO léger sur ce jeu, en dix minutes de GPU, améliore la perception d'utilité bien plus qu'un nouvel affinage supervisé.

En résumé

• L'affinage supervisé ne peut pas exprimer une préférence entre deux réponses correctes ; les méthodes par préférences comblent ce vide en apprenant depuis des paires « préférée-rejetée ».
• RLHF apprend un modèle de récompense puis optimise la politique par PPO sous contrainte KL ; DPO atteint le même objectif sans modèle de récompense ni renforcement, avec une perte supervisée directe.
• Le sur-refus est un effet secondaire fréquent de l'alignement, causé par des annotateurs prudents et des formulations de refus répétées.
• Aligner n'est pas rendre véridique, ni plus compétent, ni universel ; c'est un composant du dispositif, pas la totalité, et il se paramètre en fonction du public.

Module suivant : au moment de la génération, une fois le modèle prêt, comment régler la température, top-k et top-p pour obtenir le comportement voulu.