Module 1
Introduction au Préentraînement
Introduction au Préentraînement
7min
Leçons vidéo
Exercices
Lab pratique
Introduction au pretraining des LLMs. Comprenez comment les modèles de langage apprennent à partir de données brutes.
Lab : Exercices pratiques
Module 2
Architecture Transformer Approfondie
Architecture Transformer Approfondie
20min
Leçons vidéo
Exercices
Lab pratique
Découvrez l'architecture des transformers et les mécanismes d'attention. Explorez les fondements théoriques du pretraining.
Lab : Exercices pratiques
Module 3
Préparation de Données Massives
Préparation de Données Massives
18min
Leçons vidéo
Exercices
Lab pratique
Apprenez à préparer des corpus de données massifs pour le pretraining. Nettoyage, déduplication, filtrage de qualité.
Lab : Exercices pratiques
Module 4
Boucle d'Entraînement
Boucle d'Entraînement
25min
Leçons vidéo
Exercices
Lab pratique
Maîtrisez les techniques de tokenization et de création de vocabulaires. Comparez BPE, WordPiece et SentencePiece.
Lab : Exercices pratiques
Module 5
Scaling Laws
Scaling Laws
12min
Leçons vidéo
Exercices
Lab pratique
Configurez et lancez un pretraining sur infrastructure GPU/TPU. Optimisez les hyperparamètres et gérez les ressources.
Module 6
Considérations de Production
Considérations de Production
8min
Leçons vidéo
Exercices
Lab pratique
Surveillez l'entraînement et diagnostiquez les problèmes : loss curves, gradient norms, overfitting.