Module 1
Introduction
Introduction
30min
Leçons vidéo
Exercices
Lab pratique
Cette formation explore l'architecture des modèles génératifs IA de pointe. Comprendre l'architecture interne des LLMs vous permet de mieux les utiliser et d'anticiper leurs comportements et limitations.
Pourquoi étudier l'architecture :
Connaître l'architecture des modèles (Transformers, attention mechanisms, architectures alternatives) vous aide à comprendre pourquoi certains prompts fonctionnent mieux, comment optimiser l'utilisation, et à suivre les innovations.
Ce que vous allez apprendre :
Architecture Transformer en détail
Mechanisms d'attention (self-attention, cross-attention)
Positional encodings et context windows
Architectures de modèles de pointe (GPT, Claude, Gemini)
Innovations récentes (MoE, sliding windows, retrieval)
Trade-offs entre différentes architectures
Implications pratiques pour le développement
Evolution future des architectures
Architectures alternatives (RWKV, Mamba, SSM)
Cette formation avancée vous donnera une compréhension approfondie du fonctionnement interne des modèles génératifs.