Affinage de modèles

Spécialisation de modèles préentraînés par affinage, avec les méthodes économes en mémoire.

Durée du cours : 8h

Ce que vous allez apprendre

• Décider si l'affinage est vraiment la bonne réponse au problème
• Constituer un jeu d'entraînement d'instructions de qualité
• Appliquer LoRA et QLoRA pour tenir dans la mémoire disponible
• Suivre un entraînement et repérer le surapprentissage
• Comparer le modèle affiné au modèle de base sur des cas réels

Prérequis

• Grands modèles de langage
• PyTorch

Modules du cours

1. Consigne, RAG ou affinage : choisir la bonne réponse
2. Préparer un jeu de données d'instructions
3. Affinage complet et son coût réel
4. Affinage économe en paramètres
5. LoRA : adaptateurs de rang faible
6. QLoRA et quantification en 4 bits
7. Hyperparamètres d'un affinage
8. Suivi de l'entraînement et arrêt au bon moment
9. Fusion des adaptateurs et export
10. Évaluation avant et après affinage

Évaluation et attestation

Le parcours se termine par un examen de 40 questions qui couvre tous les modules. En cas de réussite, une attestation d'achèvement est délivrée ; son numéro est vérifiable sur la plateforme.

Les cours gratuits, eux, se concluent par un quiz de 5 questions avec un aperçu de l'attestation, sans certification.