Dans ce cours, vous découvrirez comment personnaliser et évaluer de grands modèles de langage (LLM) à l'aide d'Amazon SageMaker JumpStart. Amazon SageMaker JumpStart est un hub de machine learning (ML) doté de modèles de fondation, d'algorithmes intégrés et de solutions ML préconçues que vous pouvez déployer en quelques clics. Vous découvrirez les alternatives à l'ajustement, y compris les bases de l'ingénierie de prompt et de la génération augmentée de récupération (RAG). Vous apprendrez également à ajuster, déployer et évaluer les modèles affinés disponibles sur SageMaker JumpStart.
À l'aide de votre propre compte AWS et des blocs-notes fournis, vous pouvez vous entraîner à créer des applications RAG à l'aide de l'intégration Amazon SageMaker-Langchain. Vous pouvez également ajuster un modèle Llama3 et l'évaluer à l'aide de métriques d'évaluation. Vous pouvez mettre en pratique l'un des aspects de l'IA responsable à l'aide d'un carnet qui aborde les stéréotypages de prompt. Vous pouvez également regarder une vidéo de démonstration de l'utilisation des blocs-notes.
- Niveau du cours : avancé
- Durée : 4 heures
Activités
Ce cours comprend des présentations, des démonstrations et des évaluations.
Objectifs du cours
Ce cours vous permet :
- Décrivez les différentes techniques permettant de personnaliser les LLM.
- Décrivez quand utiliser l'ingénierie de prompt et la génération augmentée de récupération comme options de personnalisation.
- Démontrez l'utilisation de l'intégration Amazon SageMaker-Langchain pour créer une application RAG à l'aide d'un modèle Falçon.
- Décrire l'utilisation de l'adaptation de domaine et de l'ajustement des instructions.
- Démontrez comment ajuster et déployer un modèle à partir du hub SageMaker JumpStart ML.
- Démontrez l'utilisation du SDK Python de SageMaker pour affiner les LLM à l'aide de l'ajustement des paramètres (PEFT).
- Évaluez les modèles de fondation à l'aide de la console SageMaker JumpStart et de la bibliothèque fmeval.
Public ciblé
Ce cours est destiné aux postes suivants :
- Data Scientists
- Ingénieurs Machine Learning
Prérequis
Pour assister à ce cours, il est recommandé d'avoir les connaissances suivantes :
- Plus d'un an d'expérience dans le traitement du langage naturel (NLP)
- Plus d'un an d'expérience dans la formation et le réglage de modèles de langage
- Maîtrise de niveau intermédiaire de la programmation en langage Python
- Principes techniques essentiels d'AWS
- Principes de fondation d'Amazon SageMaker JumpStart
Déroulement du cours
Module 1 : introduction à la personnalisation des LLM
- Personnalisation des LLM
- Choix des méthodes de personnalisation
Module 2 : ingénierie de prompt et RAG pour personnaliser les LLM
- Utiliser une ingénierie de prompt
- Utilisation de la génération augmentée par récupération (RAG)
- Utilisation de modèles RAG avancés
Démo 1 : création d'une application RAG à l'aide de l'intégration Amazon SageMaker-Langchain et d'un modèle Falcon7B à partir de SageMaker JumpStart
Module 3 : ajustement et déploiement des modèles de fondation
- Personnalisez les modèles de fondation à l'aide d'un ajustement
- Comment utiliser la console SageMaker JumpStart pour ajuster et déployer un LLM
Démo 2 : ajuster un modèle Llama 3 disponible sur SageMaker JumpStart à l'aide du SDK Amazon SageMaker Python
Module 4 : évaluation des modèles de fondation
- Discuter des métriques d'évaluation des modèles
- Évaluez les modèles de fondation à l'aide de la console Amazon SageMaker JumpStart
Démo 3 : évaluer les stéréotypages de prompt d'un modèle Falcon-7B à l'aide de la bibliothèque fmeval
Module 5 : ressources
- En savoir plus
- Nous contacter
