ローカルでLlama 3を実行する方法

Name

Lynn Mikami

Published on 2024/4/30

MetaのLlama 3は、印象的なパフォーマンスとアクセシビリティを誇る最新のオープンソースの大規模言語モデルです。8Bから700Bというモデルサイズは、自然言語処理のタスクにとって強力なツールであります。しかし、そんな大規模なモデルをローカルで実行するには、相当な計算リソースと技術的な専門知識が必要です。幸いなことに、Microsoftによって開発されたOllamaというスリームライン化されたツールを使用することで、オープンソースのLlama 3のようなLLMをローカルマシンで簡単に実行することができます。

Ollamaとは？

Ollamaは、モデルの重み、設定、データセットを一つのパッケージでまとめ、Modelfileによって定義されるユーザーフレンドリーなソリューションです。GPUの使用状況を含むセットアップや設定の詳細を最適化し、開発者や研究者が大規模な言語モデルをローカルで実行することを容易にします。OllamaはLlama 3を含む幅広いモデルをサポートし、複雑なセットアップ手順の手間をかけることなく、クリエイティブな言語モデルの探索と実験を可能にします。

ローカルでLlama 3を実行するためのシステム要件

インストールプロセスに入る前に、システムがLlama 3モデルをローカルで実行するための最低要件を満たしていることを確認することが重要です。モデルサイズによってリソース要件は異なり、より大規模なモデルはよりパワフルなハードウェアが必要です。

8Bモデルの場合、少なくとも以下が必要です：

• 8GBのVRAM
• 16GBのRAM
• オプティマルなパフォーマンスのためには、NVIDIA RTX 3070などのGPUが推奨されます。

70Bモデルの場合、以下が必要です：

• 少なくとも24GBのVRAMを搭載したハイエンドなGPU（NVIDIA RTX 3090またはA100など）
• 少なくとも64GBのRAM
• これらのモデルは数ギガバイトのディスク容量を消費する可能性があるため、十分なストレージスペースが必要です。

Ollamaのインストール

Ollamaのインストールプロセスは簡単で、1つのコマンドで行うことができます。システム上でターミナルを開き、次のコマンドを実行してください：

curl -fsSL https://ollama.com/install.sh | sh

このコマンドは最新バージョンのOllamaをダウンロードし、システムにインストールします。インストールが完了したら、ollama --versionを実行してインストールを確認できます。

Llama 3モデルのダウンロード

Ollamaは、Llama 3モデルのダウンロードと管理を簡単に行う方法を提供します。8Bモデルをダウンロードするには、次のコマンドを実行します：

ollama pull llama3-8b

70Bモデルの場合は、次のコマンドを使用します：

ollama pull llama3-70b

これらのコマンドは、それぞれのモデルと関連ファイルをローカルマシンにダウンロードします。インターネット接続の速度とシステムの仕様によっては、特に大きな70Bモデルの場合、ダウンロードに時間がかかる場合があります。

Llama 3モデルの実行

モデルをダウンロードしたら、Ollamaのrunコマンドを使用して実行できます。8Bモデルの場合は、次のコマンドを実行します：

ollama run llama3-8b

70Bモデルの場合は、次のコマンドを使用します：

ollama run llama3-70b

これらのコマンドは、対応するLlama 3モデルとの対話セッションを開始し、プロンプトの入力と生成された応答の受信を可能にします。Ollamaは必要なセットアップと設定を処理しますので、広範な技術知識なしにモデルと対話することが容易です。

高度な使用法

Ollamaには、Llama 3モデルを使用した体験を向上させるためのいくつかの高度な機能とオプションがあります。例えば、使用するGPUの数を指定する、より高速な推論のために量子化を有効にする、最適なパフォーマンスのためにバッチサイズやシーケンス長を調整するなどのオプションがあります。

これらの高度なオプションを探索するには、Ollamaのドキュメントを参照するか、ollama run --helpを実行して利用可能なオプションとその説明のリストを表示します。

Llama 3とアプリケーションの統合

Llama 3モデルを対話的に実行することは、テストや探索には便利ですが、それらをアプリケーションやワークフローに統合したい場合もあります。Ollamaは、Python APIを提供し、モデルとのプログラム的な対話を可能にすることで、プロジェクトにシームレスに統合することができます。

以下は、Ollama Python APIを使用してLlama 3 8Bモデルでテキストを生成する方法の例です：

import ollama
 
# モデルをロードする
model = ollama.load("llama3-8b")
 
# テキストを生成する
prompt = "Once upon a time, there was a"
output = model.generate(prompt, max_new_tokens=100)
 
print(output)

このコードスニペットでは、Llama 3 8Bモデルを読み込み、プロンプトを提供し、プロンプトの続きとして100の新しいトークンを生成します。プロンプトや出力の長さ、その他のパラメータを必要に応じてカスタマイズすることができます。

Llama 3 8BとLlama 3 70Bのベンチマークとパフォーマンス

Llama 3モデルは、さまざまなベンチマークで印象的なパフォーマンスを発揮し、従来のモデルや大規模なモデルよりも優れていることがよくあります。以下にいくつかのベンチマーク結果を示します：

一般的なベンチマーク

| BIG-Bench Hard (3-shot, CoT)| 61.1       | 81.3        |
| ARC-Challenge (25-shot)     | 78.6       | 93.0        |
 
### 知識推論
 
| ベンチマーク           | Llama 3 8B | Llama 3 70B |
|----------------------|------------|-------------|
| TriviaQA-Wiki (5-shot)| 78.5       | 89.7        |
 
### 読解力
 
| ベンチマーク        | Llama 3 8B | Llama 3 70B |
|------------------|------------|-------------|
| SQuAD (1-shot)   | 76.4       | 85.6        |
| QuAC (1-shot, F1)| 44.4       | 51.1        |
| BoolQ (0-shot)   | 75.7       | 79.0        |
| DROP (3-shot, F1)| 58.4       | 79.7        |
 
これらのベンチマークは、Llama 3の素晴らしい性能を示しており、8B版モデルよりも70B版モデルの方が予想通りに良い結果を出しています。しかし、8B版モデルは依然として優れたパフォーマンスを発揮し、計算資源に制約のある人々にとっては実用的な選択肢となっています。
 
## 結論
 
Ollamaのおかげで、ローカルでLlama 3のような大規模な言語モデルを実行することは今まで以上に簡単になりました。ユーザーフレンドリーなインターフェースとスムーズなセットアッププロセスにより、Ollamaは開発者、研究者、エンスージアストがローカルマシン上でこれらの最先端モデルのパワーを活用することができます。自然言語処理タスクに取り組んでいる、Llama 3の能力を調査している、アプリケーションに統合している場合でも、Ollamaは便利で効率的なソリューションを提供します。さあ、なぜ待つ必要がありますか？今すぐOllamaをダウンロードして、ローカルシステム上でLlama 3のポテンシャルを引き出しましょう！
 
<AdComponent />