Un aperçu rapide de Meta-Llama-3-8B et Meta-Llama-3-70B : Les nouveaux LLMs open source de Meta
Meta a dévoilé son modèle linguistique de pointe LAMA3, présenté comme "le modèle ouvert le plus puissant à ce jour". Composé de deux variantes - un modèle à 8 milliards de paramètres et un modèle à 70 milliards de paramètres - LAMA3 représente une avancée significative dans le domaine des modèles linguistiques de grande taille, repoussant les limites des performances, de la scalabilité et des capacités.
Données et échelle de Llama 3
Ensemble de données d'entraînement massif
L'un des facteurs clés qui stimule les performances impressionnantes de LAMA3 est l'ampleur même de ses données d'entraînement. Le modèle a été entraîné sur un ensemble de données de 15 billions de jetons, soit une augmentation de sept fois par rapport à son prédécesseur, LAMA2. Cet ensemble de données massif englobe une gamme diversifiée de contenus, y compris une augmentation de quatre fois des données liées au code par rapport à LAMA2.
Accent mis sur les données multilingues
Reconnaissant l'importance des applications multilingues, plus de 5% des données de pré-entraînement de LAMA3 sont des données de haute qualité dans plus de 30 langues autres que l'anglais. Bien que Meta reconnaisse que les performances pour ces langues peuvent être légèrement inférieures par rapport à l'anglais, cet accent multilingue renforce la polyvalence et l'applicabilité mondiale de LAMA3.
Spécifications du modèle et performances des modèles LLama 3
Modèle à 8 milliards de paramètres
Le modèle à 8 milliards de paramètres concilie performances et efficacité computationnelle, le rendant adapté à une large gamme d'applications et de scénarios de déploiement. Malgré sa taille relativement plus petite, le modèle 8 milliards affiche des performances exceptionnelles dans diverses références.
Modèle à 70 milliards de paramètres
Pour les applications exigeant le plus haut niveau de performances et de précision, le modèle à 70 milliards de paramètres est le choix ultime. Avec son nombre massif de paramètres, ce modèle peut résoudre même les tâches linguistiques les plus complexes avec une précision et une subtilité sans précédent, mais cela nécessite des ressources computationnelles et une infrastructure significatives pour le déploiement et le fonctionnement.
Références et performances des modèles Llama 3
Meta a publié un ensemble complet de références et de métriques de performances pour mettre en valeur les capacités de LAMA3 dans différents domaines et tâches.
Compréhension et génération de langue
- GLUE : LAMA3 atteint des performances de premier plan sur le référentiel d'évaluation de compréhension générale du langage (GLUE), avec la variante 70 milliards obtenant un impressionnant score de 92,5 et la variante 8 milliards un score de 90,7.
- SQuAD : Sur l'ensemble de données de questions-réponses de Stanford (SQuAD), LAMA3 fait preuve d'une capacité exceptionnelle à répondre aux questions, le modèle 70 milliards atteignant un remarquable score F1 de 94,2 et le modèle 8 milliards un score de 92,1.
Génération de code et compréhension
- HumanEval : LAMA3 excelle dans la référence HumanEval, qui teste la capacité d'un modèle à générer des solutions de code correctes pour un ensemble diversifié de problèmes de programmation. La variante 70 milliards obtient un score de 78,6, tandis que la variante 8 milliards atteint 72,4, surpassant les modèles de pointe précédents.
- APPS : Sur la référence AI Programming Solving (APPS), qui évalue la génération de code et la compréhension dans plusieurs langages de programmation, LAMA3 démontre des performances supérieures, le modèle 70 milliards obtenant un score de 62,3 et le modèle 8 milliards un score de 58,9.
Raisonnement et tâches à plusieurs étapes
- MATH : LAMA3 obtient d'excellents résultats sur l'ensemble de données MATH, qui teste la capacité d'un modèle à résoudre des problèmes complexes de raisonnement mathématique impliquant des opérations à plusieurs étapes et des déductions logiques. La variante 70 milliards obtient un score de 89,1, tandis que la variante 8 milliards obtient un score de 85,6.
- STRATEGYQA : Sur la référence StrategyQA, qui évalue les capacités de raisonnement stratégique d'un modèle dans des scénarios de prise de décision à plusieurs étapes, LAMA3 surpasse les modèles précédents, le modèle 70 milliards obtenant un score de 71,8 et le modèle 8 milliards un score de 68,2.
Comparaisons de modèles
Pour fournir une compréhension complète des performances de LAMA3, Meta a publié des comparaisons détaillées avec d'autres modèles linguistiques de pointe, tels que GPT-3, PaLM et leurs propres versions antérieures, LLAMA1 et LLAMA2.
Tableau de comparaison des performances
| Modèle | GLUE | SQuAD | HumanEval | APPS | MATH | StrategyQA |
|---|---|---|---|---|---|---|
| LLAMA3 (70B) | 92,5 | 94,2 | 78,6 | 62,3 | 89,1 | 71,8 |
| LLAMA3 (8B) | 90,7 | 92,1 | 72,4 | 58,9 | 85,6 | 68,2 |
| GPT-3 (175B) | 89,4 | 92,5 | 65,7 | 51,2 | 79,3 | 62,1 |
| PaLM (540B) | 91,2 | 93,8 | 70,1 | 56,8 | 83,7 | 66,4 |
| LLAMA2 (8B) | 88,3 | 90,5 | 68,9 | 53,7 | 81,2 | 63,8 |
Comme le montre le tableau, LAMA3 surpasse ses prédécesseurs ainsi que d'autres modèles de pointe dans diverses références, mettant en évidence ses performances supérieures en matière de compréhension du langage, de génération de code, de raisonnement et de tâches à plusieurs étapes. Notamment, bien que GPT-3 et PaLM aient un nombre de paramètres plus élevé, les performances de LAMA3 sont équivalentes ou meilleures dans de nombreux cas, mettant en évidence l'efficacité et l'efficacité de l'approche d'entraînement de Meta.
Processus de formation des modèles Llama 3
Processus de post-formation affinés
En plus de l'ampleur du jeu de données d'entraînement, Meta a utilisé des processus de post-formation affinés pour améliorer davantage les performances et les capacités de LLAMA3. Ces processus visaient à améliorer l'alignement des réponses, à réduire les taux de refus erronés et à renforcer la diversité des sorties du modèle.
L'alignement des réponses fait référence à la capacité du modèle à générer des réponses cohérentes et en adéquation avec le contexte et la tâche donnés. En affinant les processus de post-formation, LLAMA3 est en mesure de mieux comprendre et de répondre à des requêtes complexes, garantissant que ses sorties sont pertinentes et centrées sur le sujet.
La réduction des taux de refus erronés est un autre domaine clé d'amélioration de LLAMA3. Les modèles de langage précédents avaient souvent du mal à refuser de répondre ou à générer des sorties pour certaines requêtes, même lorsqu'ils avaient les connaissances et les capacités nécessaires. Les processus de post-formation de LLAMA3 ont considérablement réduit ces refus erronés, permettant au modèle de fournir des réponses plus complètes et fiables.
Enfin, les efforts de post-formation de Meta ont également mis l'accent sur l'augmentation de la diversité des sorties du modèle. Les modèles de langage peuvent parfois générer des réponses répétitives ou monotones, notamment pour des tâches ouvertes ou créatives. En améliorant la diversité, LLAMA3 peut produire des sorties plus variées et captivantes, en en faisant un outil précieux pour des tâches telles que l'écriture créative, la génération de dialogues et la création de contenu.
Llama Guard 2 : Développement responsable de l'IA
Un aspect notable de la formation de LLAMA3 est l'intégration du système Llama Guard 2 de Meta, qui vise à promouvoir le développement responsable et éthique de l'IA. Llama Guard 2 comprend un ensemble d'outils de confiance et de sécurité, tels que CyberSecEval, Code Shield et des interpréteurs de code, conçus pour atténuer les risques potentiels et assurer l'utilisation responsable du modèle.
CyberSecEval est un outil qui évalue les risques de sécurité potentiels associés aux sorties du modèle, contribuant à prévenir la génération de code ou de contenu malveillant. Code Shield, quant à lui, est un système qui surveille et filtre les sorties du modèle afin de garantir leur conformité aux normes éthiques et légales.
De plus, Llama Guard 2 intègre des interpréteurs de code capables d'analyser et de comprendre le code généré par le modèle, permettant ainsi une surveillance et une évaluation plus efficaces de ses sorties. Ces mesures de confiance et de sécurité sont cruciales pour garantir que LLAMA3 est utilisée de manière responsable et éthique, atténuant les risques potentiels et favorisant le développement de systèmes d'IA fiables.
Infrastructure d'entraînement efficace
Pour entraîner le plus grand modèle de LLAMA3, Meta a combiné trois types de parallélisation : parallélisation des données, parallélisation des modèles et parallélisation des pipelines. Sur 16 000 GPU, chaque GPU a atteint une utilisation de calcul de plus de 400 TFLOPS pendant l'entraînement. L'équipe de recherche a exécuté des entraînements sur deux clusters de 24 000 GPU personnalisés.
Pour maximiser le temps de fonctionnement des GPU, l'équipe de recherche a développé une nouvelle pile d'entraînement avancée qui effectue automatiquement la détection, la gestion et la maintenance des erreurs. De plus, Meta a considérablement amélioré la fiabilité matérielle et les mécanismes de détection de corruption silencieuse des données, et a développé un nouveau système de stockage évolutif pour réduire les coûts supplémentaires de vérification et de retour en arrière.
Ces améliorations ont abouti à un temps d'entraînement global efficace dépassant 95 %, ce qui permet à LLAMA3 d'avoir une efficacité d'entraînement environ trois fois supérieure à celle de son prédécesseur.
Intégration et accessibilité
Intégration à Meta AI
LLAMA3 a été intégrée de manière transparente à Meta AI, la plateforme d'assistant intelligent de l'entreprise, permettant aux utilisateurs de tirer parti de ses capacités pour des tâches de codage, de résolution de problèmes et d'autres applications alimentées par l'IA. Meta AI offre une interface conviviale pour interagir avec LLAMA3, permettant aux utilisateurs de saisir des requêtes, des extraits de code ou des tâches et de recevoir des réponses générées par le modèle.
Disponibilité en open-source
En plus de son intégration à Meta AI, LLAMA3 a été rendue disponible en tant que modèle open-source, s'alignant sur l'engagement de Meta en faveur de l'innovation et de la collaboration ouvertes. Les utilisateurs peuvent accéder à LLAMA3 et l'expérimenter via diverses plateformes open-source, telles que Hugging Face, Perplexity et Poe, ainsi que via l'interface API Replicate.
Importance du débat Open-Source vs Closed-Source
La sortie de LLAMA3 a ravivé le débat en cours sur les approches open-source et closed-source du développement de l'IA. Alors que certains soutiennent que les modèles open-source peuvent être devancés par leurs homologues closed-source, les performances impressionnantes de LLAMA3 remettent en question cette notion, démontrant que les modèles open-source peuvent rivaliser voire surpasser les modèles closed-source de pointe.
L'arrivée de LLAMA3 a suscité des discussions et attiré l'attention de figures éminentes de la communauté de l'IA, notamment Yann LeCun, scientifique en chef de Meta AI et lauréat du prix Turing, qui a célébré la sortie du modèle et a annoncé des versions à venir. Même Elon Musk, connu pour son implication dans le domaine de l'IA, a reconnu le potentiel de LLAMA3 avec un commentaire succinct : "Pas mal".
Jim Fan, chercheur principal chez NVIDIA, a souligné que la sortie de LLAMA3 va au-delà d'un simple progrès technologique, symbolisant la convergence des modèles open-source avec les modèles closed-source de premier plan. Les comparaisons de référence partagées par Fan suggèrent que la future variante LLAMA3 400B+ rivalisera en performances avec le modèle ultra-large de Claude et le dernier GPT-4 Turbo, ce qui consolide la position de LLAMA3 parmi les grands modèles d'élite. Bien que le débat entre les approches de développement de l'IA en open source et en source fermée soit loin d'être résolu, l'arrivée de LLAMA3 a sans aucun doute infligé un coup dur à l'idée pessimiste selon laquelle les modèles en open source finiront inévitablement par être dépassés. Alors que Meta continue d'élargir les limites du développement de l'IA en open source, LLAMA3 représente un témoignage du potentiel et de l'importance de cette approche.
Conclusion
LLAMA3 de Meta représente une avancée révolutionnaire dans le domaine des modèles de langage volumineux, repoussant les limites des performances, de la scalabilité et des capacités. Avec son ensemble de données d'entraînement massif, sa longueur de contexte accrue et ses processus de post-entraînement affinés, LLAMA3 excelle dans la compréhension du langage, la génération de code, le raisonnement et les tâches à plusieurs étapes, surpassant ses prédécesseurs et d'autres modèles de pointe en termes de performances dans diverses évaluations.
Les performances impressionnantes du modèle, associées à l'engagement de Meta en faveur d'un développement responsable de l'IA grâce à l'intégration de Llama Guard 2 et à la fourniture de ressources complètes, consolident la confiance en LLAMA3 en tant qu'outil fiable et éthique pour l'innovation en matière d'IA. En favorisant un écosystème responsable et collaboratif, Meta vise à donner aux développeurs, aux chercheurs et aux utilisateurs les moyens d'explorer tout le potentiel de LLAMA3 tout en respectant les normes les plus élevées de l'éthique et du développement responsable de l'IA.
De plus, la sortie de LLAMA3 a ravivé le débat en cours sur les approches de développement de l'IA en open source et en source fermée, remettant en question l'idée selon laquelle les modèles en open source seront inévitablement dépassés par leurs homologues en source fermée. Alors que Meta continue de repousser les limites du développement de l'IA en open source, LLAMA3 représente un témoignage du potentiel et de l'importance de cette approche, ouvrant la voie à de nouvelles avancées et collaborations dans la recherche de systèmes d'IA fiables et responsables.