Aller au contenu principal

Apprentissage par renforcement

Un agent qui décide, un environnement qui répond, une récompense qui oriente. Ce cours traverse le renforcement de bout en bout, du cadre théorique des processus de décision markoviens aux algorithmes profonds qui font tourner les agents d'aujourd'hui.

Durée du cours : 8h​

Ce que vous allez apprendre​

  • Formuler un problème réel en états, actions, transitions et récompenses
  • Distinguer le renforcement du supervisé et concevoir des récompenses qui n'induisent pas de comportements dégénérés
  • Calculer les fonctions de valeur VV et QQ, appliquer les équations de Bellman
  • Implémenter le Q-learning tabulaire sur FrozenLake, puis un DQN sur CartPole
  • Expliquer ce que le rejeu d'expérience et le réseau cible apportent à la stabilité
  • Écrire un REINFORCE, comprendre la variance et le rôle de la ligne de base
  • Utiliser PPO sur LunarLander et lire une courbe de récompense avec intervalles

Prérequis​

  • Mathématiques pour l'IA (cours 03) : espérance, gradient
  • Fondamentaux du deep learning (cours 07)
  • PyTorch (cours 09) : nn.Module, optim, backward

Fil rouge​

Trois environnements Gymnasium de difficulté croissante. FrozenLake est tabulaire et sert de laboratoire aux modules 2 à 6. CartPole introduit l'approximation par réseau au module 7 avec DQN, puis le gradient de politique au module 8. LunarLander clôt le parcours au module 9 avec PPO et au module 10 avec un projet complet, comparé à l'implémentation de référence de Stable-Baselines3.

Modules du cours​

  1. Agent, environnement, récompense : le cadre
  2. Processus de décision markoviens
  3. Fonctions de valeur et équations de Bellman
  4. Programmation dynamique et méthodes de Monte-Carlo
  5. Différence temporelle et Q-learning
  6. Exploration : epsilon glouton et alternatives
  7. Réseaux Q profonds et rejeu d'expérience
  8. Méthodes de gradient de politique
  9. Acteur-critique, A2C et PPO
  10. Projet : agent entraîné sur un environnement Gymnasium

Évaluation et attestation​

Le parcours se termine par un examen de 40 questions qui couvre tous les modules. En cas de réussite, une attestation d'achèvement est délivrée ; son numéro est vérifiable sur la plateforme.

Les cours gratuits, eux, se concluent par un quiz de 5 questions avec un aperçu de l'attestation, sans certification.