Module 5 — Dérivées et gradient : la pente qui guide l'apprentissage

Le cours d'introduction l'a énoncé : un modèle apprend en ajustant ses paramètres pour réduire une fonction de coût. La dérivée est l'instrument de cet ajustement. Elle indique, en chaque point, dans quel sens et de combien modifier un paramètre pour diminuer l'erreur. Ce module en donne l'intuition, sans formalisme superflu.

La dérivée : une pente locale

La dérivée d'une fonction en un point est la pente de sa courbe à cet endroit. Elle répond à une question précise : « si j'augmente légèrement l'entrée, comment change la sortie ? »

• Dérivée positive : la fonction monte ; augmenter l'entrée augmente la sortie.
• Dérivée négative : la fonction descend.
• Dérivée nulle : terrain plat — sommet, creux ou palier.

Pour l'apprentissage, ce dernier cas est capital : là où la dérivée du coût s'annule se trouvent les minima, les points où l'erreur ne peut plus baisser localement. Tout l'entraînement consiste à les rejoindre.

Descendre la pente : l'intuition de l'optimisation

Imaginez une fonction de coût comme un paysage vallonné, et le modèle comme un randonneur cherchant le point le plus bas dans le brouillard. Il ne voit pas la vallée entière, mais il sent la pente sous ses pieds : la dérivée. La stratégie évidente — faire un pas dans le sens de la descente, recommencer — est exactement la descente de gradient du module 6.

$$\text{nouveau paramètre} = \text{ancien paramètre} - \eta \cdot \text{dérivée}$$

Le signe moins encode « descendre » : on se déplace à l'opposé de la pente. Le facteur $\eta$ (le taux d'apprentissage) règle la taille du pas.

Le gradient : la pente en plusieurs dimensions

Un modèle réel a des milliers, voire des milliards de paramètres. La dérivée par rapport à un seul paramètre (les autres figés) s'appelle une dérivée partielle. Le gradient rassemble toutes les dérivées partielles dans un vecteur :

$$\nabla L = \left( \frac{\partial L}{\partial w_1}, \frac{\partial L}{\partial w_2}, \dots, \frac{\partial L}{\partial w_n} \right)$$

Ce vecteur a une propriété remarquable : il pointe vers la direction de plus forte montée du coût. Pour diminuer l'erreur, on avance donc dans la direction opposée — d'où « descente de gradient ». Le gradient réconcilie les deux moitiés du cours : c'est un objet du calcul différentiel, rangé comme un vecteur de l'algèbre linéaire.

La règle de dérivation en chaîne : le moteur de la rétropropagation

Comment calculer le gradient à travers les nombreuses couches d'un réseau ? Grâce à une seule règle : la dérivation en chaîne. Pour des fonctions emboîtées, la dérivée du tout est le produit des dérivées de chaque étape :

$$\frac{d}{dx} f(g(x)) = f'(g(x)) \cdot g'(x)$$

Un réseau étant une longue composition de fonctions (chaque couche appliquée à la précédente), la dérivation en chaîne permet de calculer l'effet de chaque poids sur le coût final en remontant couche par couche. C'est précisément ce qu'on appelle la rétropropagation — le module 5 du cours d'introduction en donnait le résultat ; on en tient ici le mécanisme exact.

Vous n'aurez pas à dériver à la main

Bonne nouvelle : les bibliothèques modernes (TensorFlow, PyTorch) calculent les gradients automatiquement par différentiation automatique. Vous décrivez le calcul « vers l'avant », et le gradient est déduit tout seul. Comprendre la dérivée et la règle de la chaîne n'est donc pas nécessaire pour coder, mais indispensable pour diagnostiquer : gradients qui explosent, qui s'évanouissent, apprentissage bloqué — autant de pannes qui ne se comprennent qu'avec cette intuition.

En résumé

• La dérivée est la pente locale d'une fonction : elle dit dans quel sens et de combien changer une entrée pour faire varier la sortie.
• Là où la dérivée du coût s'annule se trouvent les minima, la cible de l'entraînement.
• Le gradient rassemble toutes les dérivées partielles ; il pointe vers la plus forte montée, donc on descend à l'opposé.
• La règle de dérivation en chaîne propage les dérivées à travers les fonctions emboîtées : c'est le mécanisme de la rétropropagation, calculée automatiquement par les bibliothèques.

Module suivant : la descente de gradient en détail — comment le taux d'apprentissage transforme cette pente en un algorithme d'entraînement concret.