Phi-3: 마이크로소프트의 소형이면서 강력한 언어 모델
- Name
- Jennie Rose
Published on
인공지능의 급속한 발전 세계에서 마이크로소프트는 소형이면서도 놀라운 성능을 보여주는 Phi-3라는 언어 모델을 도입함으로써 중요한 발전을 이뤄냈습니다. 비교적 작은 크기임에도 불구하고 Phi-3는 규모가 훨씬 큰 다른 모델들과 견줄만한 성능을 다양한 벤치마크에서 보여주고 있습니다. 이 기사에서는 Phi-3의 세부 내용을 탐구하고, 다른 주요 언어 모델과의 성능을 비교하며, 기기에서 Phi-3를 로컬로 실행하는 가이드를 제공할 것입니다.
Phi-3란 무엇인가요?
Phi-3는 마이크로소프트에서 개발한 언어 모델 시리즈로, 가장 작은 변형인 Phi-3-mini는 38억 개의 매개변수를 가지고 있습니다. 이는 GPT-3.5와 같은 잘 알려진 모델의 크기의 일부에 불과합니다. 비록 소형이지만, Phi-3는 마이크로소프트의 혁신적인 훈련 기술과 데이터셋 관리 덕분에 다양한 벤치마크에서 인상적인 결과를 보여주고 있습니다.
Phi-3 시리즈는 현재 세 가지 모델로 구성되어 있습니다:
- Phi-3-mini: 38억 개의 매개변수
- Phi-3-small: 70억 개의 매개변수
- Phi-3-medium: 140억 개의 매개변수
마이크로소프트는 더 큰 Phi-3 모델의 앞으로의 출시를 시사하고 있지만, 가장 작은 변형 모델만으로도 이미 성능과 관련해 상당한 주목을 받고 있습니다.
벤치마크 성능
Phi-3의 성능을 평가하기 위해 두 가지 널리 사용되는 벤치마크인 MMLU(Multitask Metric for Longform Understanding)와 MT-bench(Machine Translation Benchmark)의 점수와 비교해봅시다.
| 모델 | MMLU | MT-bench |
|---|---|---|
| Phi-3-mini (38B) | 69% | 8.38 |
| Phi-3-small (7B) | 75% | 8.7 |
| Phi-3-medium (14B) | 78% | 8.9 |
| Llama-3 (8B) | 66% | 8.6 |
| Mixtral 8x7B | 68% | 8.4 |
| GPT-3.5 | 71% | 8.4 |
표에서 볼 수 있듯이, Phi-3 모델은 Llama-3, Mixtral 8x7B 및 심지어 GPT-3.5와 같은 더 큰 모델과 비교하여 놀라운 성능을 보여줍니다. 38억 개의 매개변수를 가진 Phi-3-mini는 크기가 여러 번 더 큰 모델들과 비교할 만한 점수를 달성하였습니다. 이 인상적인 성능은 마이크로소프트의 고급 훈련 기술과 고품질의 데이터셋 관리 덕분입니다.
Phi-3 로컬 실행하기
Phi-3의 가장 흥미로운 측면 중 하나는 스마트폰이나 노트북 등 다양한 기기에서 로컬로 실행할 수 있다는 점입니다. 이는 모델의 소형 크기와 효율적인 아키텍처 덕분에 가능해집니다. Phi-3를 로컬에서 실행하는 것은 지연 시간 감소, 개인 정보 보호 향상 및 오프라인 모델 사용 등 여러 가지 장점을 제공합니다.
Phi-3를 로컬에서 실행하려면 Ollama 프레임워크를 사용할 수 있습니다. 이 프레임워크는 모델과 상호작용하기 위한 간단하고 사용자 친화적인 인터페이스를 제공합니다. 아래는 시작하는 방법에 대한 단계별 가이드입니다:
-
다음 명령을 실행하여 Ollama를 설치하세요:
pip install ollama -
Hugging Face 모델 저장소에서 원하는 Phi-3 모델을 다운로드하세요. 예를 들어, Phi-3-mini를 다운로드하려면 다음을 실행하세요:
ollama download phi-3-mini -
모델이 다운로드되면 다음 명령을 사용하여 Phi-3와 대화형 세션을 시작할 수 있습니다:
ollama run phi-3-mini -
이제 프롬프트를 입력하고 생성된 응답을 받아볼 수 있습니다.
또는 ONNX 런타임 라이브러리를 사용하여 Phi-3 모델을 로컬에서 실행할 수도 있습니다. ONNX 런타임은 다양한 플랫폼과 프로그래밍 언어를 지원하는 효율적인 추론 엔진입니다. Phi-3와 함께 ONNX 런타임을 사용하려면 다음 단계를 따르세요.
-
다음 명령을 실행하여 ONNX 런타임을 설치하세요:
pip install onnxruntime -
Hugging Face 모델 저장소에서 사용하려는 Phi-3 모델의 ONNX 버전을 다운로드하세요.
-
ONNX 런타임을 사용하여 모델을 로드하고 입력 프롬프트를 기반으로 생성된 응답을 생성하세요.
다음은 시작하기 위한 간단한 Python 코드 예시입니다:
import onnxruntime as ort
session = ort.InferenceSession("path/to/phi-3-mini.onnx")
prompt = "프랑스의 수도는 어디인가요?"
input_ids = ... # 프롬프트를 토큰화하고 입력 ID로 변환하세요
outputs = session.run(None, {"input_ids": input_ids})
generated_text = ... # 출력 ID를 디코딩하여 생성된 텍스트를 얻으세요
print(generated_text)결론
마이크로소프트의 Phi-3 언어 모델 시리즈는 소형이면서 효율적인 인공지능 모델 개발에서 중요한 이정표를 세운 것입니다. 벤치마크에서의 인상적인 성능과 다양한 기기에서 로컬로 실행할 수 있는 능력을 통해 Phi-3는 모바일 컴퓨팅, 엣지 디바이스, 개인 정보 보호에 민감한 시나리오 등 인공지능 응용 분야에 새로운 가능성을 열어주고 있습니다.
인공지능 분야가 계속해서 발전함에 따라, Phi-3와 같은 모델은 항상 더 크고 좋은 것만이 아닌 것을 보여줍니다. 고급 훈련 기술, 고품질 데이터셋 및 효율적인 아키텍처에 초점을 맞추면, 연구자들은 더 큰 모델과 어깨를 견줄만한 성능을 가진 강력한 언어 모델을 만들 수 있으면서도 로컬 실행의 이점을 제공할 수 있습니다.
Phi-3의 출시로 마이크로소프트는 소형 언어 모델에 대한 새로운 기준을 세웠으며, 이 기술이 어떻게 발전하고 가까운 미래에 실제 시나리오에 적용되는지 기대됩니다.
