Leçon 6 — Récapitulatif et FAQ
Les cinq leçons en une page
Leçon 1 — le neurone. Il pondère ses entrées, les additionne avec un biais, et fait passer le résultat dans une fonction d'activation. Sans cette fonction non linéaire, cent couches valent une seule. ReLU s'est imposée malgré sa simplicité parce qu'elle ne fait pas disparaître le gradient.
Leçon 2 — la profondeur. Un réseau plat peut tout représenter en théorie ; un réseau profond peut l'apprendre en pratique. La profondeur fait émerger une hiérarchie de représentations — contours, textures, parties, objets — que personne n'a programmée, et dont le caractère générique fonde le transfer learning. Trois inventions l'ont rendue entraînable : ReLU, la normalisation par lots, les connexions résiduelles.
Leçon 3 — les convolutions. Un même petit filtre glissé sur toute l'image divise massivement le nombre de paramètres et donne l'invariance par translation par construction. C'est ce qui a débloqué la vision, et le raisonnement s'étend au son, aux séries temporelles et aux graphes.
Leçon 4 — les transformeurs. L'attention remplace la lecture séquentielle : chaque élément regarde tous les autres et apprend à pondérer leur importance. Le gain décisif est la parallélisation, qui a rendu possible l'entraînement sur des corpus immenses. Sa contrepartie est un coût quadratique en longueur de séquence.
Leçon 5 — le coût. Ce qui coûte le plus cher est l'étiquetage des données, pas le matériel. Le transfer learning permet de reprendre les représentations d'un grand modèle et de n'adapter que la partie spécifique, ce qui ramène un projet de plusieurs mois à quelques heures.
Glossaire
| Terme | Ce que cela veut dire |
|---|---|
| Neurone | une somme pondérée d'entrées suivie d'une fonction d'activation |
| Poids | le nombre par lequel une entrée est multipliée ; appris à l'entraînement |
| Biais | le décalage ajouté à la somme ; appris aussi |
| Fonction d'activation | la non-linéarité sans laquelle la profondeur n'apporterait rien |
| ReLU | remplace les négatifs par zéro ; l'activation par défaut |
| Softmax | transforme des scores en probabilités dont la somme fait 1 |
| Couche cachée | une couche intermédiaire, ni entrée ni sortie |
| Lot (batch) | le groupe d'exemples traités ensemble avant une mise à jour des poids |
| Époque (epoch) | un passage complet sur tout le jeu d'entraînement |
| Gradient qui s'évanouit | le gradient devenu quasi nul dans les couches basses |
| Connexion résiduelle | un raccourci qui donne au gradient un chemin direct |
| Normalisation par lots | recentrage des valeurs à chaque couche pour stabiliser l'entraînement |
| Dropout | désactivation aléatoire de neurones pendant l'entraînement, pour limiter le surapprentissage |
| Convolution | un filtre glissé sur l'entrée, avec des poids partagés |
| Sous-échantillonnage (pooling) | la réduction de taille des cartes d'activation |
| Attention | le mécanisme par lequel chaque élément pondère tous les autres |
| Transformeur | l'architecture fondée sur l'attention, introduite en 2017 |
| Encodage positionnel | l'information de position réinjectée puisqu'on ne lit plus dans l'ordre |
| Transfer learning | réutiliser un modèle pré-entraîné pour une nouvelle tâche |
| Fine-tuning | réajuster les dernières couches d'un modèle pré-entraîné |
| LoRA | une adaptation n'entraînant que de petites matrices additionnelles |
| Oubli catastrophique | la destruction des représentations générales par un affinage trop agressif |
Les 12 questions que les gens posent vraiment
1. Deep learning ou machine learning classique ?
Sur des données brutes — pixels, son, texte libre — le deep learning, parce que personne ne peut fabriquer les variables à la main. Sur des tableaux structurés, un gradient boosting est régulièrement plus précis, s'entraîne en secondes et reste explicable. Cette règle est stable et elle vous économisera beaucoup de temps.
2. Quelle différence entre lot, époque et itération ?
Un lot est le groupe d'exemples traités avant chaque mise à jour des poids, typiquement 32 à 256. Une itération est une mise à jour, donc un lot. Une époque est un passage complet sur tout le jeu de données. Avec 10 000 exemples et des lots de 100, une époque compte 100 itérations.
3. Comment choisit-on la taille du lot ?
Principalement selon la mémoire disponible sur la carte graphique. Au-delà, un compromis : les petits lots donnent des mises à jour plus bruitées, ce qui aide parfois à généraliser ; les grands lots sont plus rapides et plus stables. Entre 32 et 256, on est dans la zone raisonnable pour la plupart des problèmes.
4. Qu'est-ce que le dropout ?
Une technique de régularisation qui, pendant l'entraînement, désactive au hasard une fraction des neurones à chaque passage. Le réseau ne peut donc pas dépendre d'un neurone en particulier et doit répartir l'information, ce qui limite le surapprentissage. Le dropout est désactivé à l'inférence.
5. Comment savoir combien de couches mettre ?
Commencez par une architecture éprouvée de votre domaine plutôt que de concevoir la vôtre : ResNet en vision, un transformeur en texte. Concevoir des architectures est un travail de recherche ; sélectionner et adapter une architecture connue est le travail d'un praticien, et c'est ce qui donne les meilleurs résultats.
6. Faut-il un GPU coûteux ?
Non pour apprendre. Google Colab prête un GPU gratuitement dans le navigateur, et le transfer learning suffit dans la grande majorité des cas. L'achat de matériel ne se justifie que si vous entraînez régulièrement, et la location à l'heure reste souvent plus économique.
7. Quelle différence entre GAN et modèle de diffusion ?
Deux façons de générer des images. Un GAN fait s'affronter un générateur et un discriminateur ; c'est rapide à l'inférence et instable à l'entraînement. Un modèle de diffusion apprend à retirer progressivement du bruit ; c'est plus stable, de meilleure qualité, et plus lent. La diffusion domine depuis 2022, et le cours IA générative détaille son fonctionnement.
8. Pourquoi mon entraînement ne converge-t-il pas ?
Par ordre de probabilité : le taux d'apprentissage est trop élevé, divisez-le par dix ; les données ne sont pas mises à l'échelle ; il y a une erreur dans la préparation, par exemple un décalage entre exemples et étiquettes ; le modèle est trop petit pour le problème. Vérifiez toujours d'abord que le réseau parvient à surapprendre un tout petit échantillon : s'il n'y arrive pas, le problème est dans le code, pas dans les réglages.
9. Un réseau peut-il expliquer ses décisions ?
Partiellement. Des techniques comme les cartes de saillance montrent quelles zones d'une image ont pesé, et les poids d'attention indiquent quels mots ont été regardés. Cela renseigne, et ce n'est pas une explication au sens juridique : on n'obtient pas de règle lisible équivalente. Dans un secteur régulé, choisissez un modèle explicable dès le départ.
10. Les modèles vont-ils continuer à grossir indéfiniment ?
La tendance s'est infléchie. On a constaté qu'à budget de calcul donné, un modèle plus petit entraîné sur davantage de données bat souvent un modèle plus gros sous-entraîné. La direction actuelle privilégie des modèles plus petits, mieux entraînés et spécialisés, ce qui va aussi dans le sens du coût et de la latence.
11. Combien de temps pour être opérationnel en deep learning ?
Avec Python et le machine learning classique déjà acquis, comptez deux à quatre mois pour être productif en transfer learning et fine-tuning, ce qui couvre la majorité des besoins réels. Concevoir des architectures et lire la recherche de près demande plutôt un à deux ans.
12. Où aller après ce cours ?
Selon votre domaine : Traitement du langage naturel pour le texte, Vision par ordinateur pour l'image, IA générative pour la génération, Grands modèles de langage pour ce que les transformeurs ont produit. Et MLOps pour tout ce qui arrive après l'entraînement.
Les cours premium couvrent PyTorch, TensorFlow, CNN, transformeurs et fine-tuning avec notebooks, jeux de données réels et projets corrigés, et un certificat vérifiable après un examen de 40 questions. Inclus dans toutes les formules payantes.
Dernière étape — Passez le quiz et découvrez votre attestation →