Leçon 1 — Ce que « générer » veut dire
Deux questions très différentes
Tous les modèles vus jusqu'ici dans ce parcours répondent à une question du type : « étant donné cette image, qu'est-ce que c'est ? » On les appelle des modèles discriminatifs. Ils apprennent une frontière entre des catégories.
Un modèle génératif répond à une question radicalement différente : « à quoi ressemble une image de chat ? » Non pas « celle-ci en est-elle une », mais « produis-en une ».
La seconde question est beaucoup plus difficile, et pour une raison précise. Pour discriminer, il suffit de repérer quelques indices qui séparent les classes. Pour générer, il faut avoir capté la structure complète de ce à quoi ressemble un chat : la fourrure, l'anatomie, la cohérence des ombres, la façon dont un animal s'inscrit dans une scène.
C'est pourquoi les modèles génératifs sont arrivés bien après les modèles discriminatifs, et pourquoi leur réussite en dit long sur ce qui a été appris.
Générer, c'est tirer un échantillon d'une distribution
Voici la formulation exacte, et elle vaut la peine d'être comprise.
Imaginez l'ensemble de toutes les grilles de pixels possibles d'une image de 512 pixels de côté. C'est un espace d'une taille inconcevable, et l'immense majorité de ses points est du bruit sans signification. Les images qui ressemblent à quelque chose occupent une région minuscule de cet espace.
Un modèle génératif apprend à caractériser cette région. Formellement, il apprend une distribution de probabilité sur l'espace des images, qui met du poids là où se trouvent les images plausibles et pas ailleurs. Générer consiste alors à tirer un point au hasard selon cette distribution.
Deux conséquences importantes découlent de cette formulation.
Le modèle ne recopie pas ses exemples. Le point qu'il tire n'est presque jamais l'un des points d'entraînement. C'est un point nouveau de la même région.
Le modèle n'invente rien non plus. Il ne peut produire que ce qui se trouve dans la région qu'il a apprise. Un modèle entraîné uniquement sur des photographies ne produira jamais un style graphique qu'il n'a jamais vu. La créativité apparente vient de la combinaison d'éléments présents dans la distribution, pas de l'ajout de quoi que ce soit d'extérieur.
En pratique, les modèles ne travaillent pas directement dans l'espace des pixels mais dans un espace latent de dimension bien plus faible, où chaque point représente une image de façon compacte. Cet espace a une propriété très utile : il est continu et structuré. On peut se déplacer d'un point à un autre en passant par des images intermédiaires cohérentes, ce qui permet les transitions progressives entre deux images et l'édition par déplacement dans une direction — vieillir un visage, changer une saison. C'est aussi ce qui rend la diffusion calculable à un coût raisonnable, comme le montre la leçon 2.
Les trois familles, et laquelle a gagné
Les autoencodeurs variationnels
Un autoencodeur est un réseau en deux parties : un encodeur qui comprime une image en un petit vecteur, et un décodeur qui reconstruit l'image à partir de ce vecteur. Entraîné à reconstruire fidèlement, il apprend une représentation compacte.
La version variationnelle ajoute une contrainte essentielle : l'espace latent doit être régulier, sans trous. On peut alors tirer un vecteur au hasard et le décoder pour obtenir une image nouvelle.
Le compromis : l'entraînement est stable et rapide, et les images produites sont floues. La contrainte de régularité pousse le décodeur à produire des moyennes, et une moyenne d'images nettes est une image floue. Les autoencodeurs variationnels ne sont plus utilisés seuls pour la génération, et ils restent partout comme compresseur au service des modèles de diffusion.
Les réseaux antagonistes génératifs
Les GAN, introduits en 2014, reposent sur une idée qui a marqué le domaine : faire s'affronter deux réseaux.
Le générateur produit des images à partir de bruit. Le discriminateur reçoit un mélange d'images réelles et d'images produites, et doit dire lesquelles sont fausses. Chacun s'améliore contre l'autre : le discriminateur devient meilleur juge, ce qui force le générateur à devenir meilleur faussaire.
C'est une compétition, et c'est là que le bât blesse. L'équilibre est instable. Si le discriminateur devient trop bon trop vite, le générateur ne reçoit plus de signal utile et l'entraînement s'effondre. Autre défaut fréquent, l'effondrement de mode : le générateur découvre un petit ensemble d'images qui trompent le discriminateur et ne produit plus que celles-là, perdant toute diversité.
Les GAN ont produit les premiers visages synthétiques réalistes et ont dominé de 2016 à 2021. Ils restent utilisés pour des tâches rapides et ciblées, comme l'agrandissement d'images.
Les modèles de diffusion
L'idée est différente et bien plus stable : au lieu d'apprendre à produire une image d'un coup, on apprend à retirer un peu de bruit. C'est une tâche facile, bien définie, sans adversaire. Il suffit ensuite de répéter l'opération plusieurs dizaines de fois.
| Autoencodeur variationnel | GAN | Diffusion | |
|---|---|---|---|
| Stabilité d'entraînement | bonne | mauvaise | bonne |
| Qualité d'image | floue | bonne | excellente |
| Diversité | correcte | risque d'effondrement | excellente |
| Vitesse de génération | très rapide | rapide | lente, plusieurs étapes |
| Contrôle par le texte | limité | limité | excellent |
| Usage en 2026 | compresseur latent | tâches ciblées | standard |
La diffusion a gagné pour l'image, et c'est l'objet de la leçon suivante.
Et le texte ?
Le texte suit une logique à part, plus simple à formuler. Un texte est une séquence discrète, ce qui permet de décomposer le problème : au lieu d'apprendre la distribution de tous les textes possibles, on apprend la distribution du token suivant étant donné les précédents.
Générer devient alors une boucle : prédire le prochain token, l'ajouter à la séquence, recommencer. C'est le mécanisme autorégressif, détaillé dans la leçon 3, et c'est exactement ce que font les grands modèles de langue.
Cette différence de nature explique une observation courante : la génération de texte est séquentielle et donc lente à l'inférence, un token après l'autre, alors qu'une image de diffusion se construit globalement à chaque étape.
À retenir
- Un modèle discriminatif trace une frontière ; un modèle génératif apprend à quoi ressemble l'ensemble des données.
- Générer, c'est tirer un échantillon d'une distribution apprise sur un espace immense dont la région plausible est minuscule.
- Le modèle ne recopie pas ses exemples et n'invente rien hors de ce qu'il a vu : il recombine.
- L'espace latent est compact et continu, ce qui permet l'interpolation et l'édition dirigée.
- Trois familles : autoencodeur variationnel (stable mais flou), GAN (rapide mais instable), diffusion (stable, excellente, lente) — la diffusion s'est imposée.
- Le texte suit un principe distinct, autorégressif : un token après l'autre.
Leçon suivante — La diffusion : comment du bruit devient une image →