2024년 최고의 25개 오픈 소스 대형 언어 모델

Name

Lynn Mikami

Published on 2024. 4. 30.

오픈 소스 LLM 소개

2024년 오픈 소스 대형 언어 모델(Large Language Models, LLMs)의 풍경은 크게 확장되어, 연구원들, 개발자들, 기업들에게 독점적인 라이선스 없이 최첨단 모델에 접근할 수 있게 되었습니다. 이 기사에서는 최고의 오픈 소스 LLMs 중 20개 이상을 살펴보며, 주요 기능, 성능 평가, 최적 사용 사례, 파라미터 수, 컨텍스트 길이 등을 다룹니다.

오픈 소스 LLM이 더 좋은 이유

오픈 소스 LLM은 독점적인 대응 모델에 비해 몇 가지 매력적인 장점을 제공하여, 다양한 애플리케이션에 점점 더 매력적인 선택지가 되고 있습니다. 다음은 오픈 소스 LLM이 더 나은 이유의 몇 가지 주요 사유입니다:

• 비용 효율성: 오픈 소스 LLM은 무료로 제공되어, 독점적인 모델과 관련된 비싼 라이선스 요금을 없애줍니다. 이를 통해 연구원들, 스타트업들, 예산이 제한된 조직들에게 더 접근 가능하게 됩니다.

• 투명성: 이러한 모델의 오픈 구조는 아키텍처, 학습 데이터, 내부 동작을 좀 더 투명하게 드러냅니다. 이런 투명성은 신뢰를 형성하고, 감사를 가능케하며, 결과의 재현성을 용이하게 합니다.

• 사용자 정의 및 유연성: 오픈 소스 LLM은 특정 사용 사례와 도메인 요구사항에 맞게 모델을 수정, 적용, 세밀하게 조정하는 자유를 제공합니다. 이 유연성은 맞춤형 AI 솔루션을 구축하려는 조직에게 필수적입니다.

• 커뮤니티 기반의 혁신: 오픈 소스 LLM은 전 세계적인 연구원 및 개발자들의 집단 지성과 기여로 이득을 얻습니다. 이 협력적인 접근법은 혁신 속도를 가속화하며, 빠른 개선과 다양한 응용 프로그램을 이끌어내게 됩니다.

• 공급업체 잠금 방지: 오픈 소스 LLM을 선택함으로써, 조직은 단일 공급업체의 생태계에 갇히는 것을 피할 수 있습니다. 이 독립성은 데이터, 인프라 및 필요에 따라 모델 간 전환에 대한 보다 큰 통제력을 제공합니다.

• 윤리적 문제 해결: 오픈 소스 LLM의 투명성과 책임성은 편견, 공정성, 책임 있는 사용 등과 같은 인공지능과 관련된 윤리적 문제 해결에 도움을 줍니다. 이러한 모델을 검토하고 수정할 수 있는 능력은 연구원들이 잠재적인 문제를 식별하고 완화할 수 있게 합니다.

독점적인 LLM들에는 엔터프라이즈급 지원 및 원활한 통합이 필요한 상황들과 같은 자리가 여전히 존재하지만, 오픈 소스 LLM의 장점들은 매력적입니다. 오픈 소스 LLM 생태계가 점점 성숙해감에 따라, 독점적인 대응 모델들과 견줄 만한 더욱 강력하고 다용도의 모델들을 기대할 수 있습니다.

25개 최고의 오픈 소스 LLM

1. Mistral

Mistral 7B는 Mistral AI에서 개발한 오픈 소스 LLM으로, 성능이 유망하며 긴 컨텍스트 길이를 지원합니다.

Mistral 7B의 주요 특징은 다음과 같습니다:

• 언어 모델링 및 하위 태스크에 대한 경쟁력 있는 성능
• 슬라이딩 윈도우 어텐션을 사용한 4096-16K 토큰의 긴 컨텍스트 길이
• Apache 2.0 라이선스로 공개

Mistral 7B의 긴 컨텍스트 길이는 문서 요약, 장문형 질의응답, 컨텍스트에 의한 생성 등과 같은 확장된 텍스트를 다루는 작업에 적합합니다. 슬라이딩 윈도우 어텐션은 매우 긴 입력 시퀀스에 대한 효율적인 처리를 가능하게 합니다.

Mistral 모델에 대한 더 많은 정보:

• Mistral 7B
• Mistral 8x7B
• mistral-large

2. OpenHermes

OpenHermes는 Nous Research에서 개발한 일련의 오픈 소스 LLMs로, 크기는 2.5B에서 13B 파라미터까지 다양합니다.

OpenHermes 모델의 주요 특징은 다음과 같습니다:

• 언어 모델링 및 하위 태스크에 대한 강력한 성능
• Triton 언어 및 컴파일러를 사용한 효율적인 학습 및 추론
• Apache 2.0 라이선스로 공개

OpenHermes 모델은 다양한 언어 이해 및 생성 작업에 사용할 수 있습니다. 효율적인 학습과 추론은 자원이 제한된 환경이나 엄격한 대기 시간 요구 사항을 가진 애플리케이션에 적합합니다.

3. LLaMA 2

Meta의 LLaMA 2 모델 패밀리는 2023년 6월에 출시된 LLM으로, 7B에서 70B 파라미터의 다양한 크기로 강력한 언어 모델에 대한 접근성을 높이는 것을 목표로 합니다.

LLaMA 2 모델의 주요 특징은 다음과 같습니다:

• 언어 모델링 및 하위 NLP 태스크에 대한 경쟁력 있는 성능
• 4096 토큰의 긴 컨텍스트 길이로, 텍스트의 이해를 더욱 개선시킴
• 다양한 모델 크기로 배포의 유연성
• 사용자 수 7억명 이하의 기관은 제한사항이 있는 커스텀 라이선스로 무료 사용 가능

LLaMA 2 모델은 콘텐츠 생성, 요약, 대화 시스템, 질문 응답 등 다양한 분야에서 활용되고 있습니다. 강력한 성능과 오픈 소스의 특성으로 인해 연구원들과 개발자들 사이에서 인기가 높습니다.

4. Bloom

Bloom은 BigScience에서 개발한 176B 파라미터 오픈 액세스 다국어 언어 모델로, 2022년에 공개 이후 광범위한 채택을 받았습니다.

Bloom의 주요 특징은 다음과 같습니다:

• 다국어 설정에서 탁월한 성능 및 다양한 NLP 태스크와 기준에 대한 강력한 성능
• 46개 언어 및 13개 프로그래밍 언어에서 텍스트 생성을 지원하는 다국어성
• OpenRAIL-M v1 라이선스로 공개되어 유연한 사용 및 수정이 가능 Bloom의 다중 언어 지원과 강력한 성능은 다양한 언어 사용자를 대상으로 하는 애플리케이션에서 매력적인 선택입니다. 번역, 다국어 콘텐츠 생성 및 교차 언어 이해와 같은 작업에 적합합니다.

5. OPT

OPT (Open Pre-trained Transformer)는 Meta AI에서 개발한 125M에서 175B 매개변수 범위의 오픈 소스 언어 모델입니다.

OPT 모델의 주요 기능은 다음과 같습니다:

• 다양한 NLP 벤치마크에서 강력한 제로샷 성능
• 라벨이 지정되지 않은 텍스트 데이터의 대규모 말뭉치로 훈련
• 다양한 모델 크기로 배포의 유연성
• Apache 2.0 라이선스로 배포

OPT의 강력한 제로샷 기능은 파인튜닝이 불가능한 애플리케이션에 적합합니다. 모델 크기의 다양성은 다른 컴퓨팅 예산 및 지연 요구사항에 유연한 배포를 가능하게 합니다.

6. GPT-NeoX-20B

GPT-NeoX-20B는 EleutherAI에서 개발한 200억 개의 매개변수를 가진 오픈 소스 자동 회귀 언어 모델입니다.

GPT-NeoX-20B의 주요 기능은 다음과 같습니다:

• 언어 모델링 벤치마크에서 경쟁력 있는 성능
• 희소 샷 학습 능력을 보여주는 모습
• Apache 2.0 라이선스로 배포

GPT-NeoX-20B는 이야기 작성, 글 생성 및 크리에이티브 작문과 같은 생성 작업에 적합합니다. 강력한 언어 모델링 기능은 일관된 텍스트 생성이 필요한 애플리케이션에 좋은 선택입니다.

7. Pythia

Pythia는 언어 모델의 훈련과 확장 특성을 분석하기 위해 설계된 70M에서 12B 매개변수 범위의 오픈 소스 LLM 스위트입니다.

Pythia 모델의 주요 기능은 다음과 같습니다:

• 다양한 NLP 작업에서 유망한 성능
• 언어 모델의 훈련 동적 및 확장성 속성 연구를 용이하게 하는 설계
• Apache 2.0 라이선스로 배포

Pythia 모델은 주로 연구 목적으로 사용되며, 모델의 규모, 훈련 데이터 및 하이퍼파라미터의 효과에 대한 통제된 실험을 가능하게 합니다. 또한 특정 하위 작업에 대한 파인튜닝을 위한 베이스 모델로 사용될 수 있습니다.

8. OpenLLaMA

OpenLLaMA는 3B에서 13B 매개변수 범위의 Meta LLaMA 모델의 오픈 재현입니다.

OpenLLaMA 모델의 주요 기능은 다음과 같습니다:

• LLaMA의 아키텍처와 훈련 방법론의 충실한 재현
• 최첨단 언어 모델에 대한 연구 및 개발 가능
• Apache 2.0 라이선스로 배포

OpenLLaMA 모델은 언어 모델 아키텍처, 훈련 기법 및 스케일링 법칙에 대한 연구에 유용합니다. 또한 특정 도메인이나 작업에 맞춘 파생 모델 개발의 시작점으로 사용될 수 있습니다.

9. OLMo

Allen Institute for AI (AI2)에서 개발한 OLMo (Open Language Model)은 투명성, 재현성 및 접근성에 중점을 둔 오픈 소스 LLM 패밀리입니다. 가장 큰 모델인 OLMo 7B Twin 2T은 다양한 NLP 벤치마크에서 인상적인 성능을 보여줍니다.

OLMo 모델의 주요 기능은 다음과 같습니다:

• 고품질 텍스트 데이터의 다양한 말뭉치로 훈련
• 자세한 문서 및 오픈 소스 훈련 코드로 재현성 강조
• Apache 2.0 라이선스로 배포

OLMo 모델은 투명성과 견고성에 중점을 둔 연구용 애플리케이션에 적합합니다. 언어 이해 및 생성 작업에 사용될 수 있습니다.

10. Gemma

Gemma는 구글에서 개발한 오픈 소스 LLM 패밀리로, 8192 토큰까지의 장거리 컨텍스트 지원과 같은 고유한 기능을 갖추고 있습니다.

Gemma 모델의 주요 기능은 다음과 같습니다:

• 언어 모델링 및 하위 NLP 벤치마크에서 경쟁력 있는 성능
• Google의 JAX 프레임워크를 사용한 효율적인 훈련 및 추론
• 이탈리아어 텍스트 데이터로 훈련된 Gemma 7B it와 같은 다국어 변형
• Gemma 이용 약관에 따라 배포, 유연한 사용 및 수정 가능

Gemma의 장거리 컨텍스트 길이는 문서 요약, 장문형 질의 응답 및 콘텐츠 생성과 같은 범위가 넓은 텍스트 작업에 특히 적합합니다. 다국어 변형은 언어별 응용 프로그램에 가치가 있습니다.

11. GPT-J-6B

GPT-J-6B는 EleutherAI에서 개발한 60억 개의 매개변수를 가진 오픈 소스 언어 모델입니다.

GPT-J-6B의 주요 기능은 다음과 같습니다:

• 다양한 언어 작업에서 널리 사용되며 강력한 성능
• 많은 파생 모델 및 응용 프로그램의 기반이 됨
• Apache 2.0 라이선스로 배포

GPT-J-6B는 다양한 언어 생성 및 이해 작업에 적합한 다재다능한 모델입니다. 큰 모델에 비해 배포가 더욱 용이하도록 크기가 보통입니다.

12. Dolly

Dolly는 Databricks에서 개발한 30B에서 120B 매개변수 범위의 기계 지시를 위한 오픈 소스 LLM 시리즈입니다.

Dolly 모델의 주요 기능은 다음과 같습니다:

• 기계 지시 작업 및 일반적인 언어 이해에서 강력한 성능
• Pythia 아키텍처를 기반으로 함
• 챗봇 및 기타 애플리케이션 구축에 사용됨
• MIT 라이선스로 배포

Dolly의 지시 조정은 대화형 에이전트, 문제지향 대화 시스템 및 특정 지침을 따르는 애플리케이션 구축에 적합합니다. 다양한 모델 크기는 배포의 유연성을 제공합니다.

13. StableLM-Alpha

StableLM-Alpha는 Stability AI에서 개발한 30B에서 650B 매개변수 범위의 오픈 소스 언어 모델 스위트입니다.

StableLM-Alpha 모델의 주요 기능은 다음과 같습니다:

• 언어 모델링 및 하위 작업에서 유망한 성능
• 4096 토큰의 긴 컨텍스트 길이로 확장된 텍스트 이해 향상
• CC BY-SA-4.0 라이선스로 배포

StableLM-Alpha의 긴 컨텍스트 길이는 문서 이해, 요약 및 컨텍스트 인식 생성과 같은 작업에 적합합니다. 다양한 모델 크기는 배포의 유연성을 제공합니다.

14. RWKV

RWKV는 140B 매개변수까지 크기가 다양한 오픈 소스 RNN 기반 언어 모델 라이브러리입니다.

RWKV 모델의 주요 기능은 다음과 같습니다:

• Transformer 수준의 성능을 가지면서 문맥 길이에 상관없이 O(1)의 추론 시간을 보장합니다.
• 무한한 문맥 길이 (RNN 기반)
• 언어 모델링 및 하위 작업에서 강력한 결과를 보여줍니다.
• Apache 2.0 라이센스로 공개됩니다.

RWKV의 무한한 문맥 길이와 효율적인 추론은 매우 긴 입력 시퀀스나 실시간 생성이 필요한 작업에 적합합니다. 긴 문서를 처리하거나 장기적인 문맥을 유지해야하는 응용 프로그램에 적합한 선택입니다.

15. FastChat-T5

FastChat-T5는 Anthropic에서 개발한 T5 아키텍처를 기반으로한 30억 개의 파라미터 오픈 소스 챗봇 모델입니다.

FastChat-T5의 주요 특징은 다음과 같습니다.

• 강력한 대화 능력 및 효율적인 추론에 최적화되었습니다.
• 대화 작업에서 경쟁력 있는 성능을 보여줍니다.
• Apache 2.0 라이센스로 공개됩니다.

FastChat-T5는 특히 챗봇 및 대화형 에이전트 구축을 위해 설계되었습니다. 그 크기가 작고 효율적인 추론이 가능하여 실시간 채팅 애플리케이션에 적합합니다.

16. h2oGPT

H2O.ai에서 개발한 h2oGPT는 120억에서 200억 개의 파라미터를 갖는 오픈 소스 LLM 계열입니다.

h2oGPT 모델의 주요 특징은 다음과 같습니다.

• NLP 벤치마크에서의 투명성과 강력한 성능을 우선시합니다.
• 모델 크기와 성능 사이의 균형을 제공합니다.
• Apache 2.0 라이센스로 공개됩니다.

h2oGPT 모델은 다양한 언어 이해 및 생성 작업에 사용될 수 있습니다. 투명성에 중점을 둔 모델은 해석 가능성과 책임성이 필요한 응용 프로그램에 적합합니다.

17. RedPajama-INCITE

RedPajama-INCITE는 30억에서 70억 개의 파라미터를 갖는 오픈 소스 베이스, 명령어 조정 및 챗 모델 계열입니다.

RedPajama-INCITE 모델의 주요 특징은 다음과 같습니다.

• 강력한 대화 능력과 명령어 따르기 작업에서의 성능을 보여줍니다.
• 고품질 데이터의 대규모 말뭉치를 훈련시킵니다.
• Apache 2.0 라이센스로 공개됩니다.

RedPajama-INCITE 모델은 챗봇, 작업 지향형 대화 시스템 및 특정 명령어를 따르는 애플리케이션에 적합합니다. 강력한 대화 능력을 가지고 있어 매력적이고 상호 작용적인 애플리케이션에 아주 좋은 선택입니다.

18. Falcon

아부다비의 기술 혁신 연구소 (TII)에서 개발한 Falcon은 2024년에 큰 발전을 이룬 개방형 LLM 계열입니다. 가장 큰 모델인 Falcon-180B는 1800억 개의 파라미터로, 가장 강력한 오픈 소스 LLM 중 하나입니다. Falcon 모델은 고품질 웹 데이터인 RefinedWeb 데이터셋에서 훈련되었으며, 정제된 코퍼스로 훈련된 모델들을 능가할 수 있습니다.

Falcon 모델의 주요 특징은 다음과 같습니다.

• 다양한 NLP 작업에 뛰어난 성능을 발휘합니다.
• 최적화된 아키텍처를 통해 효율적인 추론이 가능합니다.
• 100개 이상의 언어를 지원하는 다국어 기능을 제공합니다.
• Apache 2.0 라이센스로 공개됩니다.

Falcon 모델은 내용 생성, 언어 번역, 질문 답변, 감성 분석 등 다양한 분야에서 응용될 수 있습니다. 그들의 개방형 소스 특성과 탁월한 성능은 연구원과 개발자들 사이에서 인기 있는 선택지로 만들었습니다.

19. MPT-30B

오픈 소스 AI 모델을 선도하는 MosaicML은 MPT-30B를 2023년 6월에 공개하여 개방형 기반 모델의 새로운 표준을 세웠습니다. 300억 개의 파라미터로 MPT-30B는 텍스트 생성, 질문 답변, 요약 등 다양한 자연어 작업에서 뛰어난 능력을 보여줍니다.

MPT-30B의 주요 특징은 다음과 같습니다.

• 벤치마크 데이터셋에서 최신 기술의 성능을 제공합니다.
• MosaicML의 Composer 라이브러리를 사용한 효율적인 훈련 및 추론이 가능합니다.
• 과업별 성능 향상을 위한 명령어 조정 변형이 제공됩니다.
• Apache 2.0 및 CC BY-SA-3.0 라이센스로 공개됩니다.

MPT-30B는 챗봇, 콘텐츠 생성 도구 및 연구 프로젝트 등의 응용 분야에서 널리 채택되었습니다. 개방형 소스 특성과 강력한 성능으로 인해 대규모 언어 모델의 능력을 활용하려는 기관들에게 가장 인기 있는 선택지 중 하나입니다.

20. CodeGen

Salesforce에서 개발한 CodeGen은 3.5억에서 160억 개의 파라미터를 갖는 코드 생성 모델 시리즈입니다.

CodeGen 모델의 주요 특징은 다음과 같습니다.

• HumanEval과 같은 코드 생성 작업에서 최신 기술의 성능을 제공합니다.
• 다양한 프로그래밍 언어의 대용량 코드 말뭉치로 훈련되었습니다.
• 다중 턴 대화형 프로그램 합성을 지원합니다.
• 비상업적 라이센스로 공개됩니다.

CodeGen 모델은 자연어 설명으로부터 코드를 생성하는 데 탁월한 성능을 발휘합니다. 다중 턴 대화 능력은 사용자 피드백에 기반하여 모델이 코드를 반복해서 개선할 수 있는 대화형 개발 워크플로우를 가능하게 합니다. CodeGen은 AI 기반 프로그래밍과 코드 자동 완성에 적합합니다.

21. FLAN-T5

FLAN-T5는 Google의 T5 아키텍처를 기반으로한 명령어 조정 모델 계열로, 최대 110억 개의 파라미터까지 지원합니다.

FLAN-T5 모델의 주요 특징은 다음과 같습니다.

• 다양한 작업에 대해 소량의 샘플에서 강력한 성능을 발휘합니다.
• 1800개 이상의 다양한 작업으로 명령어 조정되었습니다.
• PaLM-62B와 같은 훨씬 큰 모델보다 일부 벤치마크에서 뛰어난 성능을 발휘합니다.
• Apache 2.0 라이센스로 공개됩니다.

FLAN-T5의 명령어 조정은 소량의 예제만으로도 보이지 않는 작업에서 뛰어난 성능을 발휘할 수 있게 해줍니다. 이는 작업에 중립적인 언어 이해 및 생성 능력이 필요한 응용 프로그램에 적합합니다. FLAN-T5는 질문 답변, 요약, 번역 등에 사용될 수 있습니다.

22. GPT-NeoX-20B-Instruct

GPT-NeoX-20B-Instruct는 EleutherAI의 GPT-NeoX-20B 모델의 명령어 조정 변형으로, 명령어 따르기 작업에서 강력한 성능을 보여줍니다.

GPT-NeoX-20B-Instruct의 주요 특징은 다음과 같습니다.

• 기본 GPT-NeoX-20B에 비해 명령어를 따르는 능력이 향상되었습니다.
• MMLU와 BBH와 같은 벤치마크에서 유망한 결과를 보여줍니다.
• 특정 명령어를 따르는 모델이 필요한 애플리케이션에 사용될 수 있습니다.
• Apache 2.0 라이센스로 공개됩니다. GPT-NeoX-20B-Instruct의 명령 조정은 가상 비서와 같은 작업 지향 시스템을 구축하기에 적합하며, 사용자 지시를 이해하고 실행해야하는 경우에 사용할 수 있습니다. 지시를 따르는 능력이 유익한 일반 언어 작업에도 사용할 수 있습니다.

23. Nous Hermes

Nous Research는 2.5B에서 13B까지의 모델 크기를 갖는 Hermes 시리즈의 오픈 소스 LLM을 개발했습니다.

Nous Hermes 모델의 주요 기능은 다음과 같습니다:

• 언어 모델링 및 하위 작업에서 경쟁력 있는 성능
• xFormers 라이브러리를 사용한 효율적인 구현
• 비 영어 언어를 지원하는 다국어 변형
• Apache 2.0 라이선스 하에 공개

Nous Hermes 모델은 성능과 효율성의 균형을 제공하여 다양한 언어 이해 및 생성 작업에 적합합니다. 다국어 변형은 비 영어 사용자를 지원하는 애플리케이션 구축에 가치가 있습니다.

24. Ziya-LLaMA-13B

Ziya-LLaMA-13B는 13B 파라미터를 갖는 중국어 LLaMA 모델로, Ziya 팀이 개발했습니다. 이 모델은 중국어 작업에서 유망한 성능을 보여주었습니다.

Ziya-LLaMA-13B의 주요 기능은 다음과 같습니다:

• 중국어 언어 모델링 및 하위 벤치마크에서 강력한 결과
• 최첨단 성능으로 중국어 언어 애플리케이션 구축 가능
• 다양한 중국어 텍스트 데이터로 훈련된
• 유연한 사용을 허용하기 위해 사용자 정의 라이선스에 따라 공개

Ziya-LLaMA-13B는 중국어 NLP 애플리케이션에 작업하는 연구원과 개발자에게 소중한 자원입니다. 이 모델은 중국어에서 콘텐츠 생성, 질문 응답, 감정 분석과 같은 작업에 사용할 수 있습니다.

25. Vicuna

대규모 모델 시스템 조직 (LMSYS)에서 개발한 Vicuna은 7B에서 13B 파라미터의 오픈 소스 챗봇 모델입니다.

Vicuna 모델의 주요 기능은 다음과 같습니다:

• 대화 능력이 강한 대화 작업에서의 성능
• 대화형 데이터의 고도로 조정
• 비상업적 라이선스 하에 공개

Vicuna 모델은 매력적이고 일관된 챗봇을 구축하기 위해 특별히 설계되었습니다. 대화형 데이터에 대한 미세 조정을 통해 자연스럽고 맥락에 맞는 응답이 필요한 애플리케이션에 적합합니다.

결론

2024년, 오픈 소스 LLM 분야는 다양한 사용 사례와 배치 시나리오에 대한 다양한 모델이 제공되며, 큰 성장과 진전을 보았습니다. Falcon-180B와 MPT-30B와 같은 대규모 모델부터 FastChat-T5와 Vicuna와 같은 특수화된 모델까지 다양한 오픈 소스 LLM이 있습니다.

이 분야가 계속 진화함에 따라 모델 아키텍처, 훈련 기술 및 하위 작업 성능에 대한 추가적인 진보가 예상됩니다. 이러한 모델의 오픈 소스의 특성은 인공지능 커뮤니티에서 혁신, 협력 및 접근성을 지속적으로 추진할 것입니다.

특정 사용 사례에 대한 오픈 소스 LLM을 선택할 때 모델 크기, 컨텍스트 길이, 훈련 데이터, 라이선스 조항 및 관련 벤치마크에서의 성능과 같은 요소를 고려하는 것이 중요합니다. 이 기사에서는 2024년 오픈 소스 LLM의 기능과 잠재력을 탐색하기 위한 시작점을 제공합니다.