Llama 2をローカルで実行する方法：Mac、Windows、モバイルデバイスの究極ガイド

Name

Jennie Rose

Published on 2024/4/30

自然言語処理（NLP）の世界に注意を払っている方なら、Llama 2という画期的な言語モデルの存在について聞いたことがあるかもしれません。それをご存知でしょうか？この高度なモデルを自分のデバイスでローカルに実行することができるんです！そうなんです！スーパーコンピュータやインターネット接続さえ必要ありません。Llama 2のパワーを引き出すためには。

Macユーザー、Windows愛好家、モバイルデバイス愛好家、このガイドが皆さんのサポート役になるでしょう。様々なプラットフォーム、さまざまなツールを使ってLlama 2を実行するための詳細にわたる手順について説明します。さらに、最適な操作方法についてもいくつかのプロのヒントをご紹介します。それでは、始めましょう！

最新のLLMニュースを知りたいですか？最新のLLMランキングをチェックしてください！

Llama 2とは？

Llama 2は、トレーニングされたデータに基づいて人間のようなテキストを理解し生成するために設計されたLlama言語モデルシリーズの最新版です。これは広範な研究開発の成果であり、シンプルなテキスト生成から複雑な問題解決まで、さまざまなNLPタスクを実行する能力を持っています。モデルのサイズは、パラメーターの数で示されるさまざまなサイズがあり、例えば7B、13B、70Bなどがあります。

Llama.cppを使用してMacにLLaMA2をローカルにインストールする方法

Macユーザーの場合、Llama 2をローカルで効率的に実行する方法の1つは、Llama.cppを使用することです。これはLlamaモデルのC / C++ポートであり、訓練性能の最適化に特に有益な、4ビット整数量子化で実行することができます。

1. RAMの要件: 3Bモデルの場合は少なくとも8GBのRAM、7Bモデルの場合は16GB、13Bモデルの場合は32GB以上のRAMを確保してください。

2. ターミナルを開く: Llama.cppをインストールしたいディレクトリに移動して、ターミナルを開きます。

3. ワンライナーを実行: 次のコマンドを実行してLlama.cppをインストールします：

   curl -L "https://replicate.fyi/install-llama-cpp" | bash

4. スクリプトの理解: このワンライナーには以下の操作が含まれます：

   • GitHubからLlama.cppリポジトリをクローンします。
   • プロジェクトをGPUサポート（LLAMA_METAL=1フラグ）でビルドします。
   • Llama 2モデルをダウンロードします。
   • Llama 2を使用するための対話プロンプトをセットアップします。

5. インストールのテスト: インストールが完了したら、いくつかのサンプルプロンプトを実行してテストすることができます。例えば：

   ./main -m ./models/llama-2-13b-chat.ggmlv3.q4_0.bin --color --ctx_size 2048 -n -1 -ins -b 256 --top_k 10000 --temp 0.2 --repeat_penalty 1.1 -t 8

   このコマンドは、さまざまなカスタマイズ用のフラグを指定して、モデルを対話モードで実行します。

これらの手順に従うことで、Mac上で短時間でLlama 2を実行することができます。Llama.cppメソッドは、ターミナルコマンドに慣れており、パフォーマンス最適化されたエクスペリエンスを求めている方に特に便利です。

WSLを使用してWindowsにLLama 2をインストールする方法

Windowsユーザーの方もご安心ください！Windows Subsystem for Linux（WSL）を使用して、Windowsマシン上でLlama 2をローカルに実行することができます。WSLを使用すると、Windowsマシン上でLinuxディストリビューションを実行できるため、Llama 2などのLinuxベースのアプリケーションをインストールして実行することが容易になります。

1. RAMの要件: 3Bモデルの場合は少なくとも8GBのRAM、7Bモデルの場合は16GB、13Bモデルの場合は32GB以上のRAMを確保してください。

2. WSLのインストール: まだインストールしていない場合は、WindowsマシンにWSLをインストールする必要があります。Microsoftの公式ガイドに従ってインストールしてください。

3. WSLターミナルを開く: WSLがインストールされたら、WSLターミナルを開き、お好みのディレクトリに移動してください。

4. ワンライナーを実行: 次のコマンドを実行してLlama 2をインストールします：

   curl -L "https://replicate.fyi/windows-install-llama-cpp" | bash

5. スクリプトの理解: このワンライナーには以下の操作が含まれます：

   • GitHubからLlama.cppリポジトリをクローンします。
   • プロジェクトをビルドします。
   • Llama 2モデルをダウンロードします。
   • Llama 2を使用するための対話プロンプトをセットアップします。

6. インストールのテスト: インストールが完了したら、いくつかのサンプルプロンプトを実行してテストすることができます。例えば：

   ./main -m ./models/llama-2-13b-chat.ggmlv3.q4_0.bin --color --ctx_size 2048 -n -1 -ins -b 256 --top_k 10000 --temp 0.2 --repeat_penalty 1.1 -t 8

   このコマンドは、さまざまなカスタマイズ用のフラグを指定して、モデルを対話モードで実行します。

WSLメソッドは、Linuxのコマンドに慣れている方にとって、Windows上でLlama 2を実行するための堅牢な方法です。オペレーティングシステムを切り替える必要なく、シームレスなエクスペリエンスを提供します。

モバイルデバイスでLlama 2を実行する：iOSとAndroid用のMLC LLM

Llama 2をモバイルデバイスで実行する方法

もし常に外出中であれば、MLC LLMというオープンソースプロジェクトを使って、モバイルデバイス上でLlama 2を実行することができることを知って喜ぶでしょう。iOSとAndroidの両方のプラットフォームでLlama 2を実行することができます。

1. アプリをダウンロードする:

   • iOSユーザーは、App StoreからMLCチャットアプリをダウンロードします。
   • Androidユーザーは、Google PlayからMLC LLMアプリをダウンロードします。

2. TestFlightをインストールする（iOS限定）: Llama 2をサポートする最新バージョンはまだiOSのベータ版です。お試しするには、TestFlightをインストールする必要があります。

3. モデルをダウンロードする:

   • アプリを開き、モデルのダウンロードセクションに移動します。
   • ダウンロードしたいモデルのサイズ（7B、13B、または70B）を選択します。

4. モデルを実行する:

   • モデルがダウンロードされたら、アプリ内のチャットインターフェイスに移動して実行します。
   • プロンプトを入力し、モデルが応答を生成するのを待ちます。

MLC LLMを使ってモバイルデバイスでLlama 2を実行することは、無類の便利さを提供します。通勤、旅行、またはメインコンピュータから離れている場合でも、Llama 2のパワーに簡単にアクセスすることができます。

llama2-webuiを使用したLlama 2の実行方法

もしLlama 2をよりユーザーフレンドリーな方法で実行したい場合は、「llama2-webui」をご利用ください。この強力なツールによって、Llama 2をウェブインターフェースで実行することができ、Linux、Windows、Macを含むあらゆるオペレーティングシステム上で利用できます。GitHubのユーザーであるliltom-ethが開発した「llama2-webui」は、すべてのLlama 2モデルをサポートし、初心者からエキスパートまで幅広い機能を提供するため、多目的に使用できる選択肢です。

llama2-webuiの特徴

• モデルのサポート: llama2-webuiは、7B、13B、70B、GPTQ、GGML、GGUF、CodeLlamaを含むすべてのLlama 2モデルをサポートしています。
• バックエンドのサポート: トランスフォーマ、8ビット推論のためのbitsandbytes、4ビット推論のためのAutoGPTQ、llama.cppなど、さまざまなバックエンドをサポートしています。
• OpenAI APIとの互換性: llama2-webuiを使用すると、Llama 2モデルでOpenAI互換のAPIを実行することができ、既存のシステムとの統合が容易になります。

llama2-webuiのインストール方法

1. PyPIからインストールする：以下のコマンドを使用して、llama2-wrapperパッケージをPyPIからインストールできます：

   pip install llama2-wrapper
2. ソースからインストールする：または、GitHubリポジトリをクローンし、要件をインストールすることもできます：

   git clone https://github.com/liltom-eth/llama2-webui.git
   cd llama2-webui
   pip install -r requirements.txt

llama2-webuiの使い方

1. チャットUIを開始する：Web UI付きのチャットボットを実行するには、次のコマンドを実行します：

   python app.py
2. Code Llama UIを開始する：コード補完に興味がある場合は、次のコマンドでCode Llama UIを実行することができます：

   python code_completion.py --model_path ./models/codellama-7b.Q4_0.gguf
3. カスタマイズ：モデルのパス、バックエンドのタイプ、その他の設定を.envファイルでカスタマイズすることができます。

開発者向けのllama2-wrapper

生成エージェントやアプリを開発している方には、llama2-wrapperをバックエンドラッパーとして使用することができます。以下はPythonの例です：

from llama2_wrapper import LLAMA2_WRAPPER, get_prompt 
llama2_wrapper = LLAMA2_WRAPPER()
prompt = "Do you know PyTorch"
answer = llama2_wrapper(get_prompt(prompt), temperature=0.9)

OpenAI互換のAPIの実行

OpenAI APIの代わりとなるFast APIサーバーを実行することもできます。Fast APIを起動するには、次のコマンドを使用します：

python -m llama2_wrapper.server

ベンチマークとパフォーマンス

このツールにはパフォーマンスを測定するためのベンチマークスクリプトが付属しています。次のコマンドで実行できます：

python benchmark.py

Llama 2をローカルで実行する代替方法

デバイス上でLlama 2を実行する方法がわかったかもしれませんが、さらなる手段を求めているかもしれません。システムリソースを占有せずに実行する方法を探しているか、非公式にサポートされていないデバイスで実行する方法に興味があるかもしれません。いずれの場合でも、このセクションはあなたにとって役立つでしょう。ここでは、Llama 2をローカルで実行するための代替手法について、それぞれの利点と課題を紹介します。

Raspberry PiでのLlama 2の実行

はい、正しく読みました。Raspberry PiでLlama 2を実行することは完全に可能であり、パフォーマンスも驚くほど優れています。これは、予算を節約しながらLlama 2を実行するための専用デバイスを望む方にとって素晴らしいオプションです。

1. 依存関係のインストール: ターミナルを開き、以下のコマンドを実行して必要なパッケージをインストールします：

   sudo apt-get update
   sudo apt-get install git cmake build-essential
2. Llama.cppリポジトリのクローン: gitを使用してLlama.cppリポジトリをクローンします。

   git clone https://github.com/ggerganov/llama.cpp.git
3. コンパイルとビルド: クローンしたディレクトリに移動し、プロジェクトをコンパイルします。

   cd llama.cpp
   make
4. Llama 2を実行する: 最後に、次のコマンドを実行してLlama 2を実行します。

   ./main -m ./models/llama-2-13b-chat.ggmlv3.q4_0.bin

DockerコンテナでのLlama 2の実行

コンテナ化を好む方にとって、DockerコンテナでLlama 2を実行することも可能です。この方法では、Llama 2環境がローカルシステムから分離され、セキュリティの追加のレイヤーが提供されます。

1. Dockerのインストール: まだインストールされていない場合は、Dockerをマシンにインストールしてください。
2. Llama 2 Dockerイメージの取得: ターミナルを開き、Llama 2 Dockerイメージを取得します。

   docker pull llama2/local
3. コンテナの実行: 次のコマンドを実行して、DockerコンテナでLlama 2を実行します。

   docker run -it --rm llama2/local

Termuxを使用してAndroidでのLlama 2の実行

1. Termuxのインストール: Google PlayストアからTermuxアプリをダウンロードしてインストールします。
2. パッケージの更新: Termuxを開き、パッケージリストをアップデートします。

   pkg update
3. 必要なパッケージのインストール: 必要なパッケージをインストールします。

   pkg install git clang make
4. Llama.cppのクローンとビルド: Raspberry Piセクションと同じ手順に従って、Llama.cppをクローンしビルドします。
5. Llama 2の実行: 以下のコマンドを使用して、Llama 2を実行します。

   ./main -m ./models/llama-2-13b-chat.ggmlv3.q4_0.bin

これらの代替手法を探索することで、単にLlama 2を実行するだけでなく、自分自身の方法で実行することができます。予算にやさしいRaspberry Pi、安全なDockerコンテナ、あるいはAndroid携帯電話など、可能性は想像力に限りがあります。

複数のデバイスでLlama 2を実行する方法

複数のデバイスを使用し、それらのすべてでLlama 2を実行したい方には、このセクションがおすすめです。この方法は、デバイスの同期を使用して、すべてのデバイスで一貫したLlama 2セッションを保持することを目指します。

1. 中央サーバーのセットアップ: 中央サーバーとして機能するデバイスを1つ選択します。これは、メインのPCまたはクラウドサーバーなどです。
2. すべてのデバイスにLlama 2をインストール: 使用するすべてのデバイスにLlama 2がインストールされていることを確認します。
3. デバイスの同期: rsyncやクラウドストレージのようなツールを使用して、すべてのデバイス間でLlama 2ディレクトリを同期します。

   rsync -avz ~/llama2/ user@remote:/path/to/llama2/
4. Llama 2の実行: 各デバイスでLlama 2を起動します。すべてのデバイスは同じデータにアクセスし、シームレスな体験を保証します。

結論

この包括的なガイドでは、Llama 2をローカルで実行するためのさまざまな手法を調査し、Dockerの技術的な側面にも触れ、クラウドベースのソリューションの利点にも触れました。また、Llama 2モデルの幅広いサポートだけでなく、OpenAI APIとの互換性を提供する多機能なツールであるllama2-webuiのパワーも強調しました。これにより、初心者からエキスパートまで、あらゆる人に一つの解決策を提供します。

Llama 2をアプリケーションに統合する開発者であるか、高度な分析を行うデータサイエンティストであるかに関わらず、ここで議論された技術やツールは、すべての人に何かを提供しています。これらの高度な手法を活用することで、Llama 2の利用体験を最適化し、効率的なモデルトレーニング、シームレスな展開、効果的なリソースの活用を実現できます。

ゆえに、基本にとどまらず、これらの高度な手法を実験して、Llama 2のフルポテンシャルを引き出し、プロジェクトを次のレベルに進めてください。

最新のLLMニュースを知りたいですか？最新のLLMリーダーボードをチェックしてください！