2024年最佳25个开源大规模语言模型

Name

Lynn Mikami

Published on 2024/4/30

开源LLM简介

2024年，开源大规模语言模型（LLM）的领域有了显著扩展，为研究人员、开发人员和企业提供了最新的模型，无需专有许可证。本文探讨了超过20个顶级开源LLM的关键特性、基准测试、最佳用例、参数数量和上下文长度。

为什么开源LLM更好

开源LLM相对于专有LLM具有一些令人信服的优势，使其逐渐成为广泛应用于各种应用领域的选择。以下是开源LLM更好的几个主要原因：

• 成本效益：开源LLM可以免费获得，无需支付与专有模型相关的昂贵许可费用。这使其更容易接触到对预算有限的研究人员、初创公司和组织来说。

• 透明性：这些模型的开放性质使其架构、训练数据和内部工作方式更加透明。这种透明性促进了信任，使审计成为可能，并有助于实现结果的可复现性。

• 定制和灵活性：开源LLM提供了修改、调整和优化模型以适应特定用例和领域要求的自由。这种灵活性对于希望构建量身定制的AI解决方案的组织来说至关重要。

• 以社区为驱动的创新：开源LLM受益于全球研究人员和开发人员的集体智慧和贡献。这种合作方式加速了创新，导致快速改进和多样化应用。

• 减轻供应商锁定问题：选择开源LLM可以避免被锁定在单一供应商的生态系统中。这种独立性使得数据、基础设施和根据需要进行模型切换更加可控。

• 解决伦理问题：开源LLM所提供的透明度和可追溯性有助于解决与人工智能相关的伦理问题，如偏见、公平性和负责任使用。检查和修改这些模型的能力使研究人员能够识别和减轻潜在的问题。

虽然专有LLM在某些场景，特别是需要企业级支持和无缝集成的情况下仍然有其价值，但开源LLM的优势令人信服。随着开源LLM生态系统的不断成熟，我们可以期待看到更强大和多功能的模型，与其专有对手相媲美甚至超越。

前25个开源LLM

1. Mistral

Mistral 7B是由Mistral AI开发的开源LLM，显示出令人期待的性能，并支持长上下文长度。

Mistral 7B的关键特性包括：

• 在语言建模和下游任务上具有竞争力的性能
• 使用滑动窗口注意力实现的4096-16K标记的长上下文长度
• 采用Apache 2.0许可发布

Mistral 7B的长上下文长度使其适用于涉及扩展文本的任务，如文档摘要、长问答和上下文感知生成。其滑动窗口注意力使得处理非常长的输入序列变得高效。

关于Mistral模型的进一步阅读：

• Mistral 7B
• Mistral 8x7B
• mistral-large

2. OpenHermes

OpenHermes是Nous Research开发的一系列开源LLM，大小从2.5B到13B参数不等。

OpenHermes模型的关键特性包括：

• 在语言建模和下游任务上显示出强大的性能
• 使用Triton语言和编译器进行高效的训练和推理
• 采用Apache 2.0许可发布

OpenHermes模型的多功能性使其适用于各种语言理解和生成任务。其高效的训练和推理使其在资源受限的环境或具有严格延迟要求的应用程序中使用。

3. LLaMA 2

Meta的LLaMA 2模型系列于2023年6月发布，旨在使大小为7B到70B参数的强大语言模型普及化。

LLaMA 2模型的关键特性包括：

• 在语言建模和下游自然语言处理任务上显示出竞争力的性能
• 支持4096标记的长上下文长度，有助于更好地理解扩展文本
• 灵活部署，具有多种模型大小可供选择
• 采用自定义许可发布，允许拥有不超过7亿用户的实体免费使用，但有一些限制

LLaMA 2模型在内容生成、摘要、对话系统和问答方面有广泛的应用。其出色的性能和开源性质使其成为研究人员和开发人员的热门选择。

4. Bloom

Bloom是由BigScience开发的一种176B参数的开放式多语言语言模型，自2022年以来已经获得了显著的采用。

Bloom的关键特性包括：

• 在各种自然语言处理任务和基准测试中显示出卓越的性能，特别是在多语言环境中
• 多语言支持，在46种语言和13种编程语言中支持文本生成
• 采用OpenRAIL-M v1许可发布，允许灵活使用和修改 请提供该Markdown文件的中文翻译。如果有frontmatter，请确保将语言参数翻译为相匹配的zh。对于代码，请不要翻译代码，只翻译注释。不要翻译示例提示的内容。以下是文件内容：Bloom的多语言能力和强大性能使其成为为服务多语言受众的应用程序的一个引人注目的选择。它非常适用于翻译、多语言内容生成和跨语言理解等任务。

5. OPT

OPT（Open Pre-trained Transformer）是一系列由Meta AI开发的开源LLM，参数范围从125M到175B不等。

OPT模型的关键特点包括：

• 在各种NLP基准测试上具有强大的零次学习表现
• 使用大规模无标签文本数据进行训练
• 支持多种模型尺寸的部署灵活性
• 采用Apache 2.0许可协议发布

OPT的强大的零次学习能力使其适用于无法进行微调的应用。模型尺寸范围的灵活性允许在不同的计算预算和延迟要求下进行灵活部署。

6. GPT-NeoX-20B

GPT-NeoX-20B是由EleutherAI开发的一个具有200亿参数的开源自回归语言模型。

GPT-NeoX-20B的主要特点包括：

• 在语言建模基准测试上具有竞争力的表现
• 具有有希望的少样本学习能力
• 采用Apache 2.0许可协议发布

GPT-NeoX-20B非常适用于生成任务，如故事创作、文章生成和创意写作。其强大的语言建模能力使其成为需要连贯文本生成的应用程序的一个很好的选择。

7. Pythia

Pythia是一套开源LLM，范围从70M到12B参数不等，旨在实现对语言模型在训练和扩展方面的分析。

Pythia模型的主要特点包括：

• 在各种NLP任务上具有良好的表现
• 旨在促进对语言模型训练动力学和扩展性质的研究
• 采用Apache 2.0许可协议发布

Pythia模型主要用于研究目的，可以进行有控制的实验，以研究模型规模、训练数据和超参数的影响。它们也可以作为基础模型进行特定下游任务的微调。

8. OpenLLaMA

OpenLLaMA是Meta的LLAMA模型的一种开放再现，模型参数范围从3B到13B。

OpenLLaMA模型的主要特点包括：

• 忠实再现了LLAMA的体系结构和训练方法
• 使研究人员能够研究和构建基于最先进语言模型的应用
• 采用Apache 2.0许可协议发布

OpenLLaMA模型对于研究语言模型的体系结构、训练技术和扩展规律非常有价值。它们还可以作为开发针对特定领域或任务的派生模型的起点。

9. OLMo

OLMo（Open Language Model）是由AI2（Allen Institute for AI）开发的一类注重透明度、可复现性和可访问性的开源LLM系列。最大模型OLMo 7B Twin 2T在各种NLP基准测试中表现出色。

OLMo模型的主要特点包括：

• 在多样性高质量文本数据上进行训练
• 注重可复现性，提供详细文档和开源训练代码
• 采用Apache 2.0许可协议发布

OLMo模型非常适用于研究应用，侧重于可解释性和稳健性。它们可用于各种语言理解和生成任务。

10. Gemma

Gemma是由Google开发的一系列开源LLM，具有支持长达8192个标记的上下文的独特功能。

Gemma模型的主要特点包括：

• 在语言建模和下游NLP基准测试中具有竞争力的表现
• 使用Google的JAX框架进行高效的训练和推理
• 提供多语言变体，例如在意大利文本数据上训练的Gemma 7B it
• 采用Gemma使用条款的许可，允许灵活的使用和修改

Gemma的长上下文长度使其特别适用于涉及长文本的任务，如文档摘要、长篇问答和内容生成。其多语言变体对于特定语言的应用非常有价值。

11. GPT-J-6B

GPT-J-6B是由EleutherAI开发的60亿参数的开源语言模型。

GPT-J-6B的主要特点包括：

• 在各种语言任务上被广泛使用且表现出色
• 作为许多派生模型和应用的基础
• 采用Apache 2.0许可协议发布

GPT-J-6B是一个多用途模型，适用于各种语言生成和理解任务。相比较较大的模型，它的中等尺寸使得部署更加容易。

12. Dolly

Dolly是由Databricks开发的一系列面向特定指令的开源LLM，模型参数范围从3B到12B不等。

Dolly模型的主要特点包括：

• 在遵循指令的任务和一般语言理解上表现出色
• 基于Pythia体系结构
• 用于构建聊天机器人和其他应用
• 采用MIT许可协议发布

Dolly的指令调优使其非常适合构建对话代理、面向任务的对话系统和需要遵循特定指令的应用。模型尺寸范围的灵活性使得部署更加灵活。

13. StableLM-Alpha

StableLM-Alpha是由Stability AI开发的一系列开源LLM，参数范围从3B到65B不等。

StableLM-Alpha模型的主要特点包括：

• 在语言建模和下游任务上表现出色
• 长达4096个标记的上下文长度，能更好地理解扩展文本
• 采用CC BY-SA-4.0许可协议发布

StableLM-Alpha的长上下文长度使其适用于涉及更长输入序列的任务，如文档理解、摘要和上下文感知生成。模型尺寸范围的灵活性使得部署更加灵活。

14. RWKV

RWKV是一系列基于RNN的开源语言模型，参数范围高达14B。

RWKV模型的主要特点包括：

• 具有 O(1) 推理时间，与上下文长度无关的变压器级性能
• 无限上下文长度（基于 RNN）
• 在语言建模和下游任务上具有强大的结果
• 在 Apache 2.0 许可下发布

RWKV 的无限上下文长度和高效推理使其非常适合涉及非常长的输入序列或实时生成的任务。它是处理长文档或保持长期上下文的应用的良好选择。

15. FastChat-T5

FastChat-T5 是 Anthropic 开发的一个具有 30 亿参数的开源聊天机器人模型，基于 T5 架构。

FastChat-T5 的主要特点包括：

• 强大的对话能力，优化了高效推理
• 在对话任务上有竞争力的性能
• 在 Apache 2.0 许可下发布

FastChat-T5 是专门设计用于构建聊天机器人和会话代理的。其紧凑的大小和高效的推理使其非常适合实时聊天应用。

16. h2oGPT

由 H2O.ai 开发，h2oGPT 是一系列开源的 LLM，包含 120 亿到 200 亿个参数。

h2oGPT 模型的主要特点包括：

• 重视透明度和在 NLP 基准测试上的强大性能
• 在模型大小和性能之间提供平衡
• 在 Apache 2.0 许可下发布

h2oGPT 模型在语言理解和生成任务的各种场景中都可以使用。它们对透明性的关注使其适用于需要可解释性和责任制的应用。

17. RedPajama-INCITE

RedPajama-INCITE 是一系列开源的基础、指令调优和聊天模型，参数范围从 30 亿到 70 亿。

RedPajama-INCITE 模型的主要特点包括：

• 强大的对话能力和在遵循指令任务上的表现
• 在大量高质量数据上进行训练
• 在 Apache 2.0 许可下发布

RedPajama-INCITE 模型非常适合构建聊天机器人、面向任务的对话系统以及需要遵循特定指令的应用。它们强大的对话能力使其成为吸引人和交互性应用的良好选择。

18. Falcon

由阿布扎比技术创新研究院（TII）开发，Falcon 是一系列开源 LLM，其在 2024 年取得了重大进展。最大型号 Falcon-180B 具有 1800 亿个参数，使其成为最强大的开源 LLM 之一。Falcon 模型是在 RefinedWeb 数据集上训练的，该数据集包含高质量的网络数据，使其在性能上超越了在策划过的语料库上训练的模型。

Falcon 模型的主要特点包括：

• 在各种 NLP 任务上的出色性能
• 采用优化的架构进行高效推理
• 具有多语言能力，支持超过 100 种语言
• 在宽松的 Apache 2.0 许可下发布

Falcon 模型已在各个领域找到应用，包括内容生成、语言翻译、问题回答和情感分析。其开源本质和强大性能使其成为研究人员和开发人员的热门选择。

19. MPT-30B

MosaicML 是一家领先的开源 AI 模型提供商，在 2023 年 6 月发布了 MPT-30B，为开源基础模型树立了新的标准。MPT-30B 具有 300 亿个参数，展示了在广泛的自然语言任务上的显着能力，包括文本生成、问题回答和摘要。

MPT-30B 的显著特点包括：

• 在基准数据集上的最先进的性能
• 使用 MosaicML 的 Composer 库进行高效的训练和推理
• 针对任务进行调优的变种，提高了任务特定性能
• 在 Apache 2.0 和 CC BY-SA-3.0 许可下发布

MPT-30B 已被 AI 社区广泛采用，为聊天机器人、内容创作工具和研究项目等应用提供动力。其开源本质和强大性能使其成为组织利用大型语言模型的首选。

20. CodeGen

由 Salesforce 开发，CodeGen 是一系列代码生成模型，参数范围从 3.5 亿到 160 亿。

CodeGen 模型的主要特点包括：

• 在类似 HumanEval 的代码生成任务上的最先进性能
• 在多种编程语言的大量代码语料库上进行训练
• 支持多轮会话式程序综合
• 在非商业许可下发布

CodeGen 模型在从自然语言描述生成代码方面表现出色。其多轮会话功能使模型可以根据用户反馈迭代改进代码。CodeGen 非常适合于辅助 AI 编程和代码自动完成。

21. FLAN-T5

FLAN-T5 是基于 Google 的 T5 架构的一系列经过指令调优的模型，大小范围达到 110 亿参数。

FLAN-T5 模型的主要特点包括：

• 在广泛任务上的强大少样本性能
• 在1800多个不同任务的混合上进行指令调优
• 在某些基准测试上胜过像 PaLM-62B 这样的更大模型
• 在 Apache 2.0 许可下发布

FLAN-T5 的指令调优使其能够在仅有少量示例的情况下在未知任务上表现良好。这使其非常适合需要任务不可知的语言理解和生成能力的应用。FLAN-T5 可用于问题回答、摘要、翻译等任务。

22. GPT-NeoX-20B-Instruct

GPT-NeoX-20B-Instruct 是 EleutherAI 的 GPT-NeoX-20B 模型的一种经过指令调优的变种，在遵循指令的任务上表现出色。

GPT-NeoX-20B-Instruct 的主要特点包括：

• 相对于基础的 GPT-NeoX-20B，能更好地遵循指令
• 在 MMLU 和 BBH 等基准测试上取得了有希望的结果
• 可用于需要模型遵循特定指令的应用
• 在 Apache 2.0 许可下发布

GPT-NeoX-20B-Instruct 的指令调优使其非常适用于构建任务导向型系统，如需要理解和执行用户指令的虚拟助手。它也可用于需要遵循指令的一般语言任务。

23. Nous Hermes

Nous Research 开发了Hermes系列的开源LLM，模型大小从2.5B到13B参数不等。

Nous Hermes 模型的主要特点包括：

• 在语言建模和下游任务方面具有竞争力的性能
• 使用xFormers库进行高效实现
• 支持非英语语言的多语言变体
• 以Apache 2.0许可发布

Nous Hermes 模型在性能和效率之间取得了平衡，使其适用于各种语言理解和生成任务。多语言变体对于构建为非英语用户服务的应用程序非常有价值。

24. Ziya-LLaMA-13B

Ziya-LLaMA-13B 是由Ziya团队开发的具有13B参数的中文LLaMA模型。它在中文语言任务上展现出了很好的性能。

Ziya-LLaMA-13B 的关键特点包括：

• 在中文语言建模和下游基准测试上获得了强大的结果
• 具备最先进性能，可构建中文语言应用
• 在大规模的多样化中文文本数据上进行训练
• 根据允许灵活使用的自定义许可发布

Ziya-LLaMA-13B 对于从事中文自然语言处理应用程序的研究人员和开发人员来说是一种宝贵的资源。它可用于中文语言的内容生成、问答和情感分析等任务。

25. Vicuna

Vicuna 是由大型模型系统组织（LMSYS）开发的开源聊天机器人模型，参数从7B到13B不等。

Vicuna 模型的主要特点包括：

• 在对话任务上表现出强大的对话能力和性能
• 在大规模的对话数据上进行了微调
• 根据非商业许可发布

Vicuna 模型专为构建引人入胜且连贯的聊天机器人而设计。其在对话数据上的微调使其非常适合需要自然且有关联性的回复的应用程序。

结论

在2024年，开源LLM领域取得了巨大的增长和进步，提供了各种用于各种用例和部署场景的模型。从像Falcon-180B和MPT-30B这样的大规模模型到像FastChat-T5和Vicuna这样的更专业的模型，都有适用于各种应用程序的开源LLM。

随着领域的不断发展，我们可以期待模型架构、训练技术和下游任务性能的进一步改进。这些模型的开源性质将继续推动AI社区的创新、协作和可访问性。

在选择特定用例的开源LLM时，重要考虑因素包括模型大小、上下文长度、训练数据、许可条款以及相关基准测试性能等。本文讨论的模型为探索2024年开源LLM的功能和潜力提供了一个起点。