Module 9 — Génération de texte, d'image et d'audio
Les modules précédents ont établi deux grandes voies de génération : l'autorégressive (jeton par jeton) et la diffusion (débruitage itératif). Le choix entre les deux n'est pas idéologique, il dépend de la modalité, du coût d'inférence et de l'usage. Ce module fait le tour horizontal : ce qu'on fait aujourd'hui pour le texte, l'image, l'audio, et pourquoi ce n'est pas la même famille selon les cas.
Le texte reste autorégressif, et c'est structurel
Toute la génération de texte de production (GPT, Llama, Mistral, Claude, Gemini, Qwen) est autorégressive : le modèle prédit le prochain jeton sachant les précédents. La raison n'est pas historique, elle est structurelle. Le texte est discret, séquentiel, de longueur variable, et la mesure de qualité naturelle est la vraisemblance — trois propriétés qui conviennent parfaitement à un modèle autorégressif.
Le cœur d'entraînement se ramène à minimiser :
Deux tentatives récurrentes de faire de la diffusion sur du texte existent (Diffusion-LM, SEDD, LLaDA), mais elles restent inférieures aux modèles autorégressifs à budget de calcul équivalent, pour deux raisons : la discrétisation en jetons est incompatible avec un bruit gaussien continu, et le décodage parallèle n'a pas montré la qualité du décodage séquentiel entraîné à grande échelle.
Les gains récents en génération de texte viennent d'ailleurs : plus de données, mélange d'experts, décodage spéculatif pour l'inférence, entraînement par renforcement à partir de préférences humaines pour l'alignement. Le cours 22 « Grands modèles de langue » traite ces sujets en détail.
L'image est dominée par la diffusion
Les modèles génératifs d'images en production sont aujourd'hui presque tous des modèles de diffusion latents : Stable Diffusion 1.5 à 3.5, SDXL, DALL·E 3, Midjourney, Imagen, Flux. La rare exception autorégressive de haut niveau, Parti, est restée un projet de recherche.
Le tableau des coûts explique pourquoi :
| Famille | Coût d'entraînement | Coût d'inférence pour une image | Contrôlabilité |
|---|---|---|---|
| GAN | modéré | 1 passe avant | limitée |
| VAE | faible | 1 passe avant | modérée |
| Diffusion | élevé | 10 à 50 passes avant | élevée |
| Autorégressif (image) | très élevé | 1 000 à 10 000 passes | élevée |
La diffusion est le compromis moderne : entraînement stable, contrôle fin par la consigne, coût d'inférence acceptable avec les échantillonneurs rapides (DPM-Solver, UniPC). Ce compromis explique aussi pourquoi les GAN n'ont pas disparu : ils restent le meilleur choix quand l'inférence doit être en temps réel (bruitage vidéo, super-résolution embarquée) et quand la contrôlabilité fine n'est pas critique.
# Illustration : coût par image pour un budget donne
import time
def benchmark(pipeline, prompt, iterations):
t0 = time.perf_counter()
for _ in range(iterations):
_ = pipeline(prompt).images[0]
return (time.perf_counter() - t0) / iterations
# Sur une carte grand public :
# StyleGAN2 : 0.02 s par image (echantillonnage direct)
# SDXL, 30 pas DDIM : 3 s par image
# SDXL, 8 pas DPM-Solver : 0.8 s par image
L'audio : les deux voies coexistent
L'audio a la particularité de se prêter aux deux familles selon ce qu'on génère exactement. Trois usages courants illustrent le partage :
- Parole (text-to-speech) : dominée par les modèles autorégressifs (Tacotron, VALL-E, Bark) qui prédisent des jetons audio discrets produits par un codec neuronal (EnCodec, SoundStream). Le vocodeur final est souvent un modèle de diffusion (HiFi-GAN reste populaire pour sa vitesse).
- Musique : à la fois autorégressive (MusicGen, Jukebox) et par diffusion (Stable Audio, Riffusion). La diffusion gagne sur la qualité perceptuelle des textures, l'autorégressif sur la cohérence à long terme.
- Effets sonores et voix éclair : diffusion majoritaire (AudioLDM, Stable Audio) parce que ces sons ont une structure locale qui se prête bien au débruitage itératif.
Le point technique qui unit ces approches est le codec neuronal : l'audio brut à 48 kHz est trop long pour être traité directement. Un autoencodeur audio le compresse en une séquence de 50 à 100 vecteurs par seconde, sur laquelle on applique ensuite soit un modèle autorégressif, soit un modèle de diffusion. C'est exactement le principe de la diffusion latente du module 6, appliqué à une autre modalité.
La multimodalité : entrée mixte, sortie fixe (pour l'instant)
Un modèle multimodal prend en entrée plusieurs modalités et produit en sortie une modalité principale. GPT-4o, Gemini et Claude 3 reçoivent texte et image et produisent du texte ; Stable Diffusion reçoit texte et image (pour ControlNet) et produit une image ; Suno reçoit texte et produit de la musique avec chant.
L'entraînement passe par un alignement des espaces de représentation : les plongements de chaque modalité sont projetés dans un espace commun, souvent celui d'un modèle de langue puissant, puis le modèle apprend à raisonner uniformément dessus. CLIP en est l'ancêtre pour le duo texte-image.
Les modèles capables de produire plusieurs modalités en sortie sont apparus fin 2024 (Chameleon de Meta, Janus de DeepSeek, GPT-4o « native »). Ils reposent sur une décomposition de l'image en jetons discrets (par un VAE quantifié), puis sur un transformer autorégressif qui prédit sans distinction jetons de texte et jetons d'image. La qualité d'image y reste inférieure à celle des diffuseurs dédiés, mais l'écart se resserre.
Le choix « autorégressif ou diffusion » ne se décide pas à partir des benchmarks publiés. Il dépend de trois questions : quelle latence maximale acceptez-vous à l'inférence ? avez-vous besoin de la vraisemblance calculable ? à quel point le contrôle par consigne compte-t-il ? Pour du texte, une seule réponse : autorégressif. Pour de l'image, quasi toujours diffusion. Pour l'audio, cela dépend du sous-domaine.
Le coût, dernier arbitre
Le coût d'inférence est ce qui décide en production. Un LLM de 70 milliards de paramètres coûte environ un centime pour 1 000 jetons générés. Une image SDXL en 30 pas coûte quelques centimes. Une minute de musique par MusicGen coûte quelques dizaines de centimes. Ces trois ordres de grandeur ne sont pas comparables directement, mais ils décident quel type d'usage est économiquement viable.
Deux évolutions récentes réduisent le coût. La distillation : entraîner un modèle plus rapide (moins d'étapes, moins de paramètres) à imiter un modèle lent (SDXL Turbo, LCM). Le cache d'attention : pour l'autorégressif, mémoriser les clés et valeurs des jetons déjà générés au lieu de les recalculer.
En résumé
- Le texte reste autorégressif : la nature discrète, séquentielle et à longueur variable des symboles le rend structurellement mieux servi que par la diffusion.
- L'image est dominée par la diffusion latente : compromis entre entraînement stable, contrôle fin et coût d'inférence acceptable avec les échantillonneurs rapides.
- L'audio est un cas mixte : parole autorégressive avec codec neuronal, musique partagée, effets sonores par diffusion ; l'idée unifiante est la représentation compressée en jetons.
- La multimodalité en entrée est mûre (GPT-4o, Gemini), la multimodalité en sortie est émergente et repose sur des jetons d'image discrets, avec une qualité encore inférieure aux modèles dédiés.
Module suivant : la question qui décide de l'usage réel de ces techniques — à qui appartiennent les données d'entraînement et à qui appartiennent les visages générés.