Meta-Llama-3-8B和Meta-Llama-3-70B的概览：Meta的新开源LLM

Name

Lynn Mikami

Published on 2024/4/30

Meta推出了先进的LLAMA3语言模型，它被誉为“迄今为止最强大的开源大型模型”。LLAMA3由两个变种组成，即8B参数模型和更大的70B参数模型，这将大型语言模型的性能、可扩展性和能力推向了一个新的高度。

Llama 3 的数据和尺度

大规模训练数据集

驱动LLAMA3卓越性能的关键因素之一是其训练数据的规模之大。该模型的训练数据集有着惊人的15T个标记，相比其前身LLAMA2增加了七倍。这个庞大的数据集涵盖了各种内容，包括与LLAMA2相比，与代码相关的数据增加了四倍。

强调多语言数据

为了认识到多语言应用的重要性，LLAMA3的预训练数据中有超过5％的高质量非英语数据，涵盖了30多种语言。尽管Meta承认这些语言的性能可能稍低于英语，但这个多语言的重点增强了LLAMA3的多功能性和全球适用性。

LLama 3 模型的规格和性能

8B参数模型

8B参数模型在性能和计算效率之间取得了平衡，适用于各种应用和部署方案。尽管相对较小，8B模型在各种基准测试中表现出色。

70B参数模型

对于需要最高性能和准确性的应用，70B参数模型是最佳选择。由于其庞大的参数数量，该模型可以以无与伦比的精确性和细微差别应对最复杂的语言任务，尽管在部署和运行过程中需要大量的计算资源和基础设施。

Llama 3 模型的基准测试和性能

Meta发布了一套全面的基准测试和性能指标，展示了LLAMA3在各个领域和任务中的能力。

语言理解和生成

• GLUE：LLAMA3在通用语言理解评估（GLUE）基准测试中达到了最先进的性能，70B变体获得了令人印象深刻的92.5分，而8B变体获得了90.7分。
• SQuAD：在斯坦福问答数据集（SQuAD）上，LLAMA3展现出卓越的问答能力，70B模型实现了惊人的94.2 F1分，8B模型得分为92.1。

代码生成和理解

• HumanEval：LLAMA3在HumanEval基准测试中表现出色，该基准测试评估模型生成正确代码解决方案的能力，涵盖了各种不同的编程问题。70B变体获得了78.6分，而8B变体得分为72.4分，超越了先前最先进的模型。
• APPS：在AI编程解决（APPS）基准测试中，评估了多种编程语言的代码生成和理解能力，LLAMA3展现出卓越的性能，70B模型得分为62.3分，8B模型得分为58.9分。

推理和多步任务

• MATH：LLAMA3在MATH数据集上取得了令人印象深刻的成绩，该数据集测试模型解决涉及多步操作和逻辑推理的复杂数学推理问题的能力。70B变体得分为89.1分，而8B变体得分为85.6分。
• STRATEGYQA：在StrategyQA基准测试中，评估了模型在多步决策情景中的战略推理能力，LLAMA3在超过先前模型的表现，70B模型获得了71.8分，8B模型获得了68.2分。

模型比较

为了全面了解LLAMA3的性能，Meta发布了与其他最先进的语言模型（包括GPT-3、PaLM以及他们自己先前的版本LLAMA1和LLAMA2）的详细比较。

性能比较表格

从表格可以看出，LLAMA3在各种基准测试中表现优异，超过了其前身和其他最先进的模型，展示了其在语言理解、代码生成、推理和多步任务方面的卓越性能。值得注意的是，尽管GPT-3和PaLM具有更多的参数，LLAMA3在许多情况下的性能不相上下甚至更好，凸显了Meta训练方法的效率和效果。

Llama 3 模型的训练过程

优化后训练过程

除了训练数据的庞大规模外，Meta还利用优化后的训练过程进一步增强了LLAMA3的性能和功能。这些过程着重改进了回应对齐、降低错误拒绝率以及提升模型输出的多样性。

回应对齐是指模型生成的回应在语境和任务中能够连贯一致。通过优化后的训练过程，LLAMA3能更好地理解和回应复杂的查询，确保输出的相关性和主题一致。

降低错误拒绝率是LLAMA3的另一个关键改进领域。以前的语言模型在某些查询中拒绝回答或生成输出时经常出现困难，即使它们具有必要的知识和能力。LLAMA3的优化后训练过程显著减少了这些错误拒绝，使模型能够提供更全面可靠的回应。

最后，Meta的后训练工作还着重提升了模型输出的多样性。语言模型有时会生成重复或单调的回应，尤其是在开放式或创造性任务中。通过增加多样性，LLAMA3能够产生更多样化和引人入胜的输出，使其成为创造性写作、对话生成和内容创作等任务的有价值工具。

Llama Guard 2：负责任的AI开发

LLAMA3训练的一个显著方面是Meta的Llama Guard 2系统的集成，该系统专注于推动负责任和道德的AI开发。 Llama Guard 2包括一系列的信任和安全工具，如CyberSecEval，Code Shield和代码解释器，旨在降低潜在风险并确保对模型的负责任使用。

CyberSecEval是一个评估与模型输出相关的潜在安全风险的工具，有助于防止生成恶意代码或内容。另一方面，Code Shield是一个监控和过滤模型输出的系统，以确保其符合道德和法律标准。

此外，Llama Guard 2还集成了能够分析和理解模型生成代码的代码解释器，可以更有效地监控和评估模型的输出。这些信任和安全措施对于确保LLAMA3的负责任和道德使用、降低潜在风险以及推动可信赖的AI系统的发展至关重要。

高效的训练基础设施

为了训练最大规模的LLAMA3模型，Meta采用了数据并行化、模型并行化和管道并行化三种并行化方式。在16K个GPU上，每个GPU在训练期间实现了超过400 TFLOPS的计算利用率。研究团队在两个定制的24K GPU集群上执行训练。

为了最大程度地提高GPU的运行时间，研究团队开发了一套先进的新训练堆栈，可以自动执行错误检测、处理和维护。此外，Meta显著提高了硬件可靠性和静默数据损坏检测机制，并开发了一种新的可扩展存储系统，以减少检查点和回滚的开销。

这些改进使得整体有效训练时间超过95%，使LLAMA3的训练效率比其前身提高了近三倍。

集成与可访问性

Meta AI集成

LLAMA3已经无缝集成到Meta AI中，该公司的智能助手平台，使用户能够利用其在编码任务、问题解决和其他基于AI的应用中的能力。Meta AI提供了一个用户友好的界面，用户可以通过该界面与LLAMA3进行交互，输入查询、代码片段或任务，并获取模型生成的回应。

开源可用性

除了与Meta AI的集成外，LLAMA3还作为开源模型提供，与Meta致力于开放创新和合作的承诺相一致。用户可以通过各种开源平台（如Hugging Face、Perplexity和Poe）以及通过Replicate API接口来访问和体验LLAMA3。

在开源与闭源辩论中的重要性

LLAMA3的发布重新点燃了关于开源和闭源方法在AI开发中的持续辩论。尽管有人认为开放源代码模型可能落后于闭源模型，但LLAMA3令人印象深刻的性能挑战了这一观点，表明开源模型可以与甚至超越最先进的闭源模型竞争。

LLAMA3的推出引发了AI界知名人士的讨论和关注，包括Meta AI首席科学家、图灵奖得主Yann LeCun，他对模型的发布表示赞赏，并预告了即将推出的版本。甚至AI领域的重要人物埃隆·马斯克也以简洁的评论“还不错”承认了LLAMA3的潜力。

NVIDIA的资深科学家Jim Fan指出，LLAMA3的发布超越了单纯的技术进步，象征着开源模型与顶级闭源模型的融合。Fan分享的基准比较表明，即将推出的LLAMA3 400B+变种将能与Claude的超大型模型和最新的GPT-4 Turbo性能媲美，巩固了LLAMA3在精英大型模型之间的地位。 尽管开源和闭源的人工智能开发方法之间的辩论远未结束，但LLAMA3的问世无疑给“开源模型必将落后”的悲观观点以致命的打击。随着Meta不断推动开源人工智能发展的边界，LLAMA3成为该方法潜力和重要性的明证。

结论

Meta的LLAMA3代表了大语言模型领域的一项开创性成果，突破了性能、可扩展性和功能的极限。通过其庞大的训练数据集、增强的上下文长度和精细调整的后期训练过程，LLAMA3在语言理解、代码生成、推理和多步骤任务方面表现出色，胜过了之前的模型和其他最先进的模型在各种基准测试中。

该模型令人印象深刻的性能，再加上Meta通过集成Llama Guard 2和提供全面资源来致力于负责任的人工智能开发，巩固了LLAMA3作为可信赖和道德的AI创新工具的地位。通过培育一个负责任和协作的生态系统，Meta旨在让开发人员、研究人员和用户探索LLAMA3的全部潜力，同时维护最高标准的道德和负责任的AI开发。

此外，LLAMA3的发布重新点燃了关于开源和闭源人工智能开发方法的辩论，挑战了开源模型必将落后闭源模型的观点。随着Meta不断推动开源人工智能开发的边界，LLAMA3成为了这种方法潜力和重要性的明证，为进一步的进展和合作铺平了道路，以追求可信赖和负责任的人工智能系统。