Ein schneller Überblick über Meta-Llama-3-8B und Meta-Llama-3-70B: Metas neue Open-Source-LLMs

Name

Lynn Mikami

Published on 30.4.2024

Meta hat sein hochmodernes LLAMA3-Sprachmodell enthüllt, das als "das bisher leistungsstärkste Open-Source-Modell" angepriesen wird. LLAMA3 besteht aus zwei Varianten – einem 8B-Parameter-Modell und einem größeren 70B-Parameter-Modell – und stellt einen bedeutenden Fortschritt im Bereich großer Sprachmodelle dar, der die Grenzen von Leistung, Skalierbarkeit und Fähigkeiten erweitert.

Daten und Umfang von Llama 3

Umfangreicher Trainingsdatensatz

Einer der wichtigsten Faktoren für die beeindruckende Leistung von LLAMA3 ist der enorme Umfang seiner Trainingsdaten. Das Modell wurde mit einem beeindruckenden 15T-Token-Datensatz trainiert, was einer siebenfachen Steigerung gegenüber seinem Vorgänger LLAMA2 entspricht. Dieser umfangreiche Datensatz umfasst eine vielfältige Palette von Inhalten, einschließlich einer vierfachen Zunahme von Code-bezogenen Daten im Vergleich zu LLAMA2.

Fokus auf mehrsprachigen Daten

Um die Bedeutung mehrsprachiger Anwendungen zu erkennen, besteht über 5% der Vor-Trainingsdaten von LLAMA3 aus hochwertigen nicht-englischen Daten in über 30 Sprachen. Obwohl Meta anerkennt, dass die Leistung für diese Sprachen im Vergleich zu Englisch leicht geringer sein kann, erhöht dieser mehrsprachige Fokus die Vielseitigkeit und globale Anwendbarkeit von LLAMA3.

Modellspezifikationen und Leistung der LLama 3 Modelle

8B Parameter-Modell

Das 8B Parameter-Modell bietet eine ausgewogene Mischung aus Leistung und Recheneffizienz und eignet sich somit für eine Vielzahl von Anwendungen und Einsatzszenarien. Trotz seiner vergleichsweise geringeren Größe liefert das 8B-Modell eine außergewöhnliche Leistung in verschiedenen Benchmarks.

70B Parameter-Modell

Für Anwendungen, die das höchste Maß an Leistung und Genauigkeit erfordern, ist das 70B Parameter-Modell die ultimative Wahl. Mit seiner enormen Anzahl an Parametern kann dieses Modell selbst die komplexesten Sprachaufgaben mit beispielloser Präzision und Nuancen lösen, erfordert jedoch erhebliche Rechenressourcen und Infrastruktur für den Einsatz und Betrieb.

Benchmarks und Leistung der Llama 3 Modelle

Meta hat eine umfassende Reihe von Benchmarks und Leistungsdaten veröffentlicht, um die Fähigkeiten von LLAMA3 in verschiedenen Bereichen und Aufgaben zu demonstrieren.

Sprachverständnis und Generierung

• GLUE: LLAMA3 erzielt eine Spitzenleistung im General Language Understanding Evaluation (GLUE) Benchmark, wobei die 70B-Variante beeindruckende 92,5 und die 8B-Variante 90,7 erreicht.
• SQuAD: Beim Stanford Question Answering Dataset (SQuAD) zeigt LLAMA3 außergewöhnliche Frage-Antwort-Fähigkeiten, wobei das 70B-Modell einen bemerkenswerten F1-Score von 94,2 und das 8B-Modell 92,1 erreicht.

Code-Generierung und -Verständnis

• HumanEval: LLAMA3 zeichnet sich beim HumanEval-Benchmark aus, der die Fähigkeit eines Modells testet, korrekte Codierungslösungen für eine vielfältige Reihe von Programmieraufgaben zu generieren. Die 70B-Variante erreicht eine Punktzahl von 78,6, während die 8B-Variante 72,4 erreicht und bisherige Spitzenmodelle übertrifft.
• APPS: Beim AI Programming Solving (APPS) Benchmark, der die Code-Generierung und -Verständnis über mehrere Programmiersprachen hinweg bewertet, zeigt LLAMA3 eine überlegene Leistung, wobei das 70B-Modell 62,3 und das 8B-Modell 58,9 erreichen.

Schlussfolgerungen und Mehrschritt-Aufgaben

• MATH: LLAMA3 erzielt beeindruckende Ergebnisse auf dem MATH-Datensatz, der die Fähigkeit eines Modells zum Lösenvon komplexen mathematischen Problemen mit Mehrschritt-Operationen und logischen Schlussfolgerungen testet. Die 70B-Variante erreicht 89,1, während die 8B-Variante 85,6 erreicht.
• STRATEGYQA: Beim StrategyQA-Benchmark, der die Fähigkeit eines Modells zur strategischen Schlussfolgerung in Szenarien mit mehreren Schritten bewertet, übertrifft LLAMA3 frühere Modelle, wobei das 70B-Modell einen Score von 71,8 und das 8B-Modell 68,2 erreicht.

Modellvergleiche

Um ein umfassendes Verständnis für die Leistung von LLAMA3 zu bieten, hat Meta detaillierte Vergleiche mit anderen modernsten Sprachmodellen veröffentlicht, darunter GPT-3, PaLM und ihre eigenen vorherigen Iterationen LLAMA1 und LLAMA2.

Vergleich der Leistungstabelle

Wie aus der Tabelle ersichtlich ist, übertrifft LLAMA3 seine Vorgänger und andere derzeit modernste Modelle in verschiedenen Benchmarks und zeigt seine überlegene Leistung in Sprachverständnis, Code-Generierung, Schlussfolgerung und Mehrschritt-Aufgaben. Beachtenswert ist, dass LLAMA3 trotz der größeren Parameteranzahl von GPT-3 und PaLM in vielen Fällen eine vergleichbare oder bessere Leistung aufweist, was die Effizienz und Effektivität des Trainingsansatzes von Meta hervorhebt.

Trainingsprozess der Llama 3 Modelle

Verfeinerte Post-Training-Prozesse

Neben der schieren Größe der Trainingsdaten setzte Meta verfeinerte Post-Training-Prozesse ein, um die Leistung und Fähigkeiten von LLAMA3 weiter zu verbessern. Diese Prozesse konzentrierten sich auf die Verbesserung der Antwortausrichtung, die Senkung der Rate falscher Ablehnungen und die Steigerung der Vielfalt der Modellausgaben.

Die Antwortausrichtung bezieht sich auf die Fähigkeit des Modells, kohärente und konsistente Antworten zu generieren, die mit dem gegebenen Kontext und der Aufgabe übereinstimmen. Durch die Verfeinerung der Post-Training-Prozesse kann LLAMA3 komplexe Anfragen besser verstehen und darauf reagieren, um sicherzustellen, dass seine Ausgaben relevant und themenbezogen sind.

Die Senkung der Rate falscher Ablehnungen ist ein weiterer wichtiger Bereich der Verbesserung bei LLAMA3. Frühere Sprachmodelle hatten oft Schwierigkeiten, bestimmte Anfragen abzulehnen oder Ausgaben für sie zu generieren, auch wenn sie über das erforderliche Wissen und die entsprechenden Fähigkeiten verfügten. Durch die Post-Training-Prozesse von LLAMA3 wurden diese falschen Ablehnungen erheblich reduziert, wodurch das Modell umfassendere und zuverlässigere Antworten liefern kann.

Schließlich konzentrieren sich die Post-Training-Bemühungen von Meta auch darauf, die Vielfalt der Modellausgaben zu erhöhen. Sprachmodelle können manchmal repetitive oder monoton wirkende Antworten generieren, insbesondere bei offenen oder kreativen Aufgaben. Durch die Steigerung der Vielfalt kann LLAMA3 abwechslungsreichere und ansprechendere Ausgaben produzieren und ist somit ein wertvolles Werkzeug für Aufgaben wie kreatives Schreiben, Dialoggenerierung und Inhaltsentwicklung.

Llama Guard 2: Verantwortungsvolle KI-Entwicklung

Ein bemerkenswerter Aspekt des Trainings von LLAMA3 ist die Integration des Llama Guard 2-Systems von Meta, das sich auf die Förderung einer verantwortungsvollen und ethischen KI-Entwicklung konzentriert. Llama Guard 2 umfasst eine Reihe von Tools zur Vertrauens- und Sicherheitssteuerung, wie CyberSecEval, Code Shield und Code-Interpreter, die dazu dienen, potenzielle Risiken zu mindern und einen verantwortungsvollen Einsatz des Modells sicherzustellen.

CyberSecEval ist ein Tool, das die potenziellen Sicherheitsrisiken in Verbindung mit den Ausgaben des Modells bewertet und so die Generierung bösartigen Codes oder Inhalts verhindert. Code Shield hingegen ist ein System, das die Ausgaben des Modells überwacht und filtert, um sicherzustellen, dass sie den ethischen und rechtlichen Standards entsprechen.

Darüber hinaus integriert Llama Guard 2 Code-Interpreter, die den generierten Code des Modells analysieren und verstehen können, um eine effektivere Überwachung und Auswertung der Ausgaben zu ermöglichen. Diese Vertrauens- und Sicherheitsmaßnahmen sind entscheidend, um sicherzustellen, dass LLAMA3 verantwortungsvoll und ethisch eingesetzt wird, potenzielle Risiken zu mindern und die Entwicklung vertrauenswürdiger KI-Systeme zu fördern.

Effiziente Trainingsinfrastruktur

Um das größte LLAMA3-Modell zu trainieren, kombinierte Meta drei Arten von Parallelisierung: Datenparallelisierung, Modellparallelisierung und Pipelining. Auf 16.000 GPUs erreichte jede GPU während des Trainings eine Rechenleistung von über 400 TFLOPS. Das Forschungsteam führte Trainingsläufe auf zwei benutzerdefinierten 24.000-GPU-Clustern durch.

Um die Ausfallzeiten der GPUs zu maximieren, entwickelte das Forschungsteam einen fortschrittlichen neuen Trainingstack, der automatisch Fehlererkennung, -behandlung und -wartung durchführt. Darüber hinaus verbesserte Meta die Hardwarezuverlässigkeit und Mechanismen zur Erkennung stiller Datenkorruption erheblich und entwickelte ein neues skalierbares Speichersystem, um den Overhead von Checkpoints und Rollbacks zu reduzieren.

Diese Verbesserungen führten zu einer insgesamt effektiven Trainingszeit von über 95%, was eine etwa dreimal höhere Effizienz des Trainings von LLAMA3 im Vergleich zu seinem Vorgänger ermöglichte.

Integration und Zugänglichkeit

Meta AI Integration

LLAMA3 wurde nahtlos in Meta AI, die intelligente Assistentenplattform des Unternehmens, integriert, um Benutzern die Nutzung seiner Fähigkeiten für Codieraufgaben, Problemlösung und andere KI-gesteuerte Anwendungen zu ermöglichen. Meta AI bietet eine benutzerfreundliche Oberfläche zur Interaktion mit LLAMA3, so dass Benutzer Anfragen, Code-Schnipsel oder Aufgaben eingeben und von dem Modell generierte Antworten erhalten können.

Verfügbarkeit als Open-Source

Neben der Integration in Meta AI wurde LLAMA3 auch als Open-Source-Modell zur Verfügung gestellt, im Einklang mit Metas Engagement für offene Innovation und Zusammenarbeit. Benutzer können auf LLAMA3 über verschiedene Open-Source-Plattformen wie Hugging Face, Perplexity und Poe zugreifen und es auch über die Replicate API-Schnittstelle erleben.

Bedeutung in der Debatte zwischen Open-Source und Closed-Source

Die Veröffentlichung von LLAMA3 hat die laufende Debatte über offene und geschlossene Ansätze zur KI-Entwicklung wieder entfacht. Während einige argumentiert haben, dass Open-Source-Modelle im Vergleich zu ihren geschlossenen Gegenstücken hinterherhinken könnten, fordert die beeindruckende Leistung von LLAMA3 diese Vorstellung heraus und zeigt, dass Open-Source-Modelle mit erstklassigen geschlossenen Modellen konkurrieren und sie sogar übertreffen können.

LLAMA3s Ankunft hat Diskussionen ausgelöst und die Aufmerksamkeit prominenter Persönlichkeiten in der KI-Gemeinschaft auf sich gezogen, darunter Meta AI Chief Scientist und Turing-Preisträger Yann LeCun, der die Veröffentlichung des Modells feierte und kommende Versionen neckte. Sogar Elon Musk, bekannt für sein Engagement im Bereich KI, lobte das Potenzial von LLAMA3 mit einem knappen Kommentar "Nicht schlecht".

Jim Fan, ein leitender Wissenschaftler bei NVIDIA, betonte, dass die Veröffentlichung von LLAMA3 über bloßen technologischen Fortschritt hinausgeht und symbolisch für die Konvergenz von Open-Source-Modellen mit erstklassigen geschlossenen Modellen steht. Benchmark-Vergleiche, die von Fan geteilt wurden, legen nahe, dass die kommende LLAMA3 400B+ Variante die Leistung des ultra-großen Claude-Modells und des neuesten GPT-4 Turbo erreichen wird und somit LLAMA3s Position unter den Elite-Modellen festigt. Während die Debatte zwischen open-source- und closed-source-Ansätzen zur KI-Entwicklung noch lange nicht entschieden ist, hat die Ankunft von LLAMA3 zweifellos einen schweren Schlag gegen die pessimistische Vorstellung versetzt, dass open-source-Modelle zwangsläufig zurückfallen werden. Indem Meta die Grenzen der open-source-KI-Entwicklung weiter ausreizt, dient LLAMA3 als Beweis für das Potenzial und die Bedeutung dieses Ansatzes.

Fazit

Metas LLAMA3 repräsentiert einen bahnbrechenden Fortschritt im Bereich großer Sprachmodelle und erweitert die Grenzen von Leistung, Skalierbarkeit und Fähigkeiten. Mit seinem massiven Trainingdatensatz, der erhöhten Kontextlänge und den verfeinerten Nachtrainierungsprozessen übertrifft LLAMA3 seine Vorgänger und andere Modelle auf dem neuesten Stand der Technik in verschiedenen Benchmarktests bei der Sprachverarbeitung, Code-Generierung, Problemlösung und mehrstufigen Aufgaben.

Die beeindruckende Leistung des Modells, verbunden mit Metas Engagement für verantwortungsbewusste KI-Entwicklung durch die Integration von Llama Guard 2 und die Bereitstellung umfassender Ressourcen, festigt LLAMA3 als vertrauenswürdiges und ethisches Werkzeug für KI-Innovationen. Durch die Förderung eines verantwortungsbewussten und kollaborativen Ökosystems strebt Meta danach, Entwicklern, Forschern und Benutzern die Erkundung des vollen Potenzials von LLAMA3 zu ermöglichen und dabei die höchsten Standards ethischer und verantwortungsbewusster KI-Entwicklung zu wahren.

Darüber hinaus hat die Veröffentlichung von LLAMA3 die andauernde Debatte über open-source- und closed-source-Ansätze zur KI-Entwicklung wieder angeheizt und stellt die Vorstellung infrage, dass open-source-Modelle zwangsläufig hinter ihren closed-source-Gegenstücken zurückbleiben. Indem Meta die Grenzen der open-source-KI-Entwicklung weiter ausreizt, dient LLAMA3 als Beweis für das Potenzial und die Bedeutung dieses Ansatzes und ebnet den Weg für weitere Fortschritte und Kollaborationen bei der Entwicklung vertrauenswürdiger und verantwortungsbewusster KI-Systeme.