Aller au contenu principal

RNN et LSTM

Modélisation de séquences avec des réseaux récurrents, de la fenêtre glissante au modèle qui prévoit l'heure suivante et donne un intervalle.

Durée du cours : 6h​

Ce que vous allez apprendre​

  • Reconnaître ce qui distingue une séquence d'un tableau de variables et éviter la fuite temporelle
  • Écrire l'équation d'une cellule récurrente et lire les formes de tenseurs (batch, temps, variables)
  • Diagnostiquer une explosion ou une disparition de gradient et y répondre
  • Choisir entre RNN simple, LSTM et GRU selon la longueur et la tâche
  • Construire un encodeur-décodeur avec teacher forcing puis en voir le goulot d'étranglement
  • Découper, remplir et masquer des séquences sans fausser les statistiques
  • Livrer un projet complet de prévision de série avec référence naïve et intervalles

Prérequis​

  • Fondamentaux du deep learning (cours 07)
  • Un cadriciel : TensorFlow et Keras (cours 08) ou PyTorch (cours 09)
  • Python, NumPy et pandas pour la manipulation de séries

Fil rouge​

Deux jeux se répondent tout au long du cours. La consommation électrique horaire d'un bâtiment sert de terrain pour les modules 1 à 7 et 9 à 10 : on y prévoit les 24 prochaines heures à partir des 168 dernières, ce qui met en scène la saisonnalité quotidienne et hebdomadaire. Un corpus de phrases courtes français-anglais sert de terrain au module 8 sur la traduction. Le projet final revient à la consommation électrique, cette fois avec un intervalle de prévision par quantiles.

Modules du cours​

  1. Ce qui rend une séquence différente d'un tableau de variables
  2. Le neurone récurrent et son état caché
  3. Rétropropagation dans le temps
  4. Gradients qui disparaissent et qui explosent
  5. LSTM : portes d'oubli, d'entrée et de sortie
  6. GRU : une simplification efficace
  7. Réseaux bidirectionnels et empilés
  8. Encodeur-décodeur pour la traduction
  9. Découpage et remplissage des séquences en pratique
  10. Projet : prédiction sur une série de mesures

Évaluation et attestation​

Le parcours se termine par un examen de 40 questions qui couvre tous les modules. En cas de réussite, une attestation d'achèvement est délivrée ; son numéro est vérifiable sur la plateforme.

Les cours gratuits, eux, se concluent par un quiz de 5 questions avec un aperçu de l'attestation, sans certification.