OpenChat 3.5: 산업 거물을 앞선 오픈소스 LLM

Name

Jennie Rose

Published on 2024. 4. 30.

OpenChat 3.5는 OpenChat 팀에서 개발한 혁신적인 오픈소스 언어 모델입니다. 70억 개의 매개변수만으로도 ChatGPT와 Grok과 같은 최고의 모델과 견줄 만한 성능을 제공합니다. OpenChat 3.5의 차별점은 프로프리어터리 라이선스의 제약 없이 개발자와 연구원이 그 능력을 활용할 수 있도록 오픈소스 접근성을 극대화한 것입니다.

최신 LLM 뉴스를 알고 싶으세요? 최신 LLM 리더보드를 확인해 보세요!

OpenChat 3.5의 주요 기능

• C-RLFT를 이용한 효율적인 학습: OpenChat 3.5는 Conditioned Reinforcement Learning from Feedback (C-RLFT)라는 기법을 사용하여 학습됩니다. 이 기법은 명시적인 선호 레이블 없이도 모델이 질적으로 다양한 데이터로부터 효과적으로 학습할 수 있도록 돕습니다.

• 적은 매개변수로 뛰어난 성능: OpenChat 3.5는 70억 개의 매개변수만으로도 ChatGPT와 Grok과 같은 많은 매개변수를 가진 모델보다 높거나 비슷한 성능을 제공합니다.

• 애플리케이션 배포의 용이성: OpenChat 3.5는 RTX 3090과 같은 컨슈머급 GPU에서 실행할 수 있어, 자원을 많이 소모하는 프로프리어터리 모델보다 개발자와 연구원에게 더욱 접근하기 쉽습니다.

• 다양한 기능: OpenChat 3.5는 일반적인 모델로 다양한 작업(코딩, 질의응답, 언어 이해 등)에서 우수한 성능을 발휘합니다.

벤치마크 결과

OpenChat 3.5는 다양한 벤치마크에서 뛰어난 결과를 보여주며, 최고 수준의 오픈소스 언어 모델임을 확인할 수 있습니다. 여기에 몇 가지 주목할 만한 벤치마크 비교 결과가 있습니다:

표에서 볼 수 있듯이, OpenChat 3.5는 모든 4개 벤치마크에서 Grok-0 (330B 매개변수)을 앞선 성능을 발휘하며, 평균적으로 그리고 4개 벤치마크 중 3개에서 Grok-1 (알 수 없는 매개변수)을 능가합니다. 또한, 매우 적은 매개변수를 가지고 있음에도 불구하고, 인간 평가와 GSM8k와 같은 주요 분야에서 ChatGPT (2023년 3월 버전)와 비슷하거나 더 나은 결과를 달성합니다.

Ollama를 사용하여 OpenChat 3.5 로컬에서 실행하기

OpenChat 3.5의 주요 장점 중 하나는 Ollama와 같은 도구를 사용하여 로컬에서 실행할 수 있다는 점입니다. 아래는 단계별 가이드입니다:

1. 다음 명령을 실행하여 Ollama를 설치합니다:

   curl -fsSL https://ollama.com/install.sh | sh

2. Ollama 명령을 사용하여 OpenChat 3.5 모델을 다운로드합니다:

   ollama run openchat

3. Ollama 서버를 시작합니다:

   ./ollama serve

4. 다른 쉘에서 OpenChat 3.5 모델을 실행합니다:

   ./ollama run openchat

5. Ollama REST API 또는 다음과 같은 호환되는 사용자 인터페이스(LibreChat, Bionic GPT, Enchanted (macOS native), HTML UI, Saddle, Chatbot UI) 중 하나를 사용하여 모델과 상호작용합니다.

다음은 Ollama REST API를 사용하여 텍스트를 생성하는 예시입니다:

curl http://localhost:11434/api/generate -d '{
  "model": "openchat",
  "prompt": "Why is the sky blue?"
}'

그리고 다음은 채팅 형식의 상호작용을 하는 방법입니다:

curl http://localhost:11434/api/chat -d '{
  "model": "openchat",
  "messages": [
    {
      "role": "사용자",
      "content": "Why is the sky blue?"
    }
  ]
}'

위 단계를 따라하면 OpenChat 3.5를 쉽게 로컬에서 실행하여 그 놀라운 능력을 직접 경험할 수 있습니다.

가능한 응용 및 영향

OpenChat 3.5는 개발자와 연구원들이 사용할 수 있는 높은 성능의 오픈소스 언어 모델로 인공지능 분야를 혁신시킬 수 있는 잠재력을 가지고 있습니다. 일부 가능한 응용 사례는 다음과 같습니다:

• 코딩 지원: HumanEval과 같은 코딩 벤치마크에서 높은 성능을 발휘하여, OpenChat 3.5는 개발자가 효율적이고 오류 없는 코드를 작성하는 것을 돕는 강력한 코딩 보조도구로 사용될 수 있습니다.

• 질의응답: MMLU와 GSM8k와 같은 벤치마크에서의 뛰어난 성능으로 인해, OpenChat 3.5는 다양한 유형의 질문에 정확하고 유익한 답변을 제공할 수 있습니다.

• 언어 이해: 언어 이해 작업에서의 강력한 성능으로 인해, OpenChat 3.5는 감성 분석, 텍스트 분류, 개체명 인식 등과 같은 응용에 적합합니다.

• 연구와 혁신: 프로프리어터리 모델 대신 오픈소스 모델을 제공함으로써, OpenChat 3.5는 연구원들이 새로운 아이디어를 탐구하고 언어 모델로 가능한 한계를 넓힐 수 있도록 지원합니다.

결론

title: OpenChat 3.5 slug: openchat-3-5

오픈챗 3.5는 오픈소스 언어 모델의 발전에 있어서 중대한 표지석을 나타냅니다. 높은 성능, 효율적인 리소스 사용 및 접근성을 통해 강력한 인공지능 도구에 대한 접근성을 민주화하고 연구와 혁신을 가속화하는 잠재력을 가지고 있습니다.

인공지능 환경이 계속 발전함에 따라 OpenChat 3.5와 같은 모델은 자연어 처리와 AI 기반 애플리케이션의 미래를 형성하는 데 중요한 역할을 할 것입니다. 오픈소스 이니셔티브를 수용하고 전 세계적인 AI 커뮤니티와 협업함으로써 우리는 새로운 가능성을 찾아내고 더욱 진보된 언어 모델의 개발을 이끌어낼 수 있습니다.

최신 LLM 뉴스를 알고 싶나요? 최신 LLM 리더보드를 확인해 보세요!