Module 1
Introduction à LangSmith
Introduction à LangSmith
10min
Leçons vidéo
Exercices
Lab pratique
Qu'est-ce que LangSmith ?
Pourquoi le monitoring LLM est essentiel
Architecture LangSmith
LangSmith vs autres outils (Helicone, Weights & Biases)
Module 2
Configuration et Tracing
Configuration et Tracing
15min
Leçons vidéo
Exercices
Lab pratique
Créer un compte LangSmith
Configurer l'API key
Activer le tracing automatique
Visualiser les traces
Lab : Tracer une chaîne LangChain
Module 3
Debugging
Debugging
10min
Leçons vidéo
Exercices
Lab pratique
Explorer les traces détaillées
Identifier les erreurs et latences
Token usage analysis
Replay et modification
Lab : Déboguer un agent problématique
Module 4
Datasets et Testing
Datasets et Testing
15min
Leçons vidéo
Exercices
Lab pratique
Créer des datasets de test
Uploader des exemples
Versioning de datasets
Lab : Dataset pour Q&A evaluation
Module 5
Evaluation
Evaluation
15min
Leçons vidéo
Exercices
Lab pratique
Qu'est-ce que l'évaluation LLM ?
Evaluators pré-construits (criteria, embedding distance)
Custom evaluators
Métriques (accuracy, relevance, coherence)
Lab : Évaluer un système RAG
Module 6
Production Monitoring
Production Monitoring
10min
Leçons vidéo
Exercices
Lab pratique
Monitoring en temps réel
Alertes et notifications
Analytics et dashboards
Cost tracking
Lab : Monitorer une app en production
Module 7
Optimization
Optimization
10min
Leçons vidéo
Exercices
Lab pratique
Identifier les bottlenecks
Optimiser les prompts
Réduire les coûts
A/B testing de prompts