Mistral-7B：新しいLLM時代の幕開け

Name

Jennie Rose

Published on 2024/4/30

AIの世界は革新には慣れていますが、時折、Mistral-7Bのような驚異が現れ、新たな基準を設定します。ミストラルAIによって開発されたこのLLMは、サイズだけでなく、効率、正確さ、多様性に関しても話題となっています。

最新のLLMニュースを知りたいですか？最新のLLMリーダーボードをご覧ください！

Mistral-7B：それは何ですか？

Mistral-7Bの登場は、AIおよびNLPコミュニティ内で興奮と好奇心をかき立てました。Hugging Faceなどのプラットフォームでの存在と、ミストラルAIが提供する詳細なドキュメンテーションにより、さまざまな分野での採用が容易になっています。

パフォーマンスのベンチマーク

LLMに関しては、パフォーマンスが最重要です。Mistral-7Bは、名高いLlama 2 13Bなどの競合製品をしのぎ、その数字だけでなく、Mistral-7Bの真髄は複雑なアーキテクチャと機能にあります。

特に、コード、数学、論理などの面でLlaMA 1 34BなどのモデルをしのぐMistral-7Bのパフォーマンスベンチマークは、開発者や研究者の間でお気に入りとなっています。CodeLlama 7Bのパフォーマンスに近づく能力は、その能力をさらに強調しています。

Mistral-7Bの適応性と多様性

Mistral-7Bの特筆すべき特徴の1つは、その適応性です。チャットボット、コンテンツ生成、コード補完、研究など、さまざまなアプリケーションでの多様性を示しています。

Mistral-7B：セットアップと展開

Mistral-7Bのパワーを活用したい方のために、詳細なガイドを用意しました：

1. Mistral-7Bのオンライン体験:
セットアップに入る前に、オンラインデモ (opens in a new tab)でMistral-7Bの感触を掴んでみてください。

2. Mistral-7Bの取得:
モデルはTorrentを使用してこちらからダウンロードできます (opens in a new tab)。リリースコードは ab979f50d7d406ab8d0b07d09806c72c です。

3. Dockerを使用したMistral-7Bの実行:
GPU対応ホストを持っている場合、Dockerを使用してMistral-7Bを実行できます。以下はDockerを使用してモデルを実行するためのサンプルコードです：

docker run --gpus all \
 -e HF_TOKEN=$HF_TOKEN -p 8000:8000 \
 ghcr.io/mistralai/harmattan/vllm-public:latest \
 --host 0.0.0.0 \
 --model mistralai/Mistral-7B-v0.1

注意: $HF_TOKEN をあなたのHugging Faceユーザーアクセストークンで置き換えてください。

4. vLLMを使用した直接の展開:
直接の展開を希望する方向けに、Mistral-7BはCuda 11.8を搭載したGPU対応ホストでvLLMをサポートしています。以下はステップバイステップのガイドです：

• インストール:
  pipを使用してvLLMをインストールします：

  pip install vllm
• Hugging Face Hubへのログイン:
  Hugging Faceハブにログインします：

  huggingface-cli login
• サーバーの起動:
  次のコマンドを使用してサーバーを開始します：

  python -u -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --model mistralai/Mistral-7B-v0.1

Mistral-7Bのアーキテクチャの革新

Mistral-7Bは、そのパフォーマンスだけでなく、ユニークなアーキテクチャの革新でも注目されています。これらを詳しく見てみましょう：

スライディングウィンドウアテンション（SWA）

SWAは、モデルの各レイヤーが前の4,096の隠れた状態にアテンションできるようにするメカニズムです。このメカニズムは、スライディングウィンドウシーケンスの長さに比例した線形計算コストを提供します。この利点は、迅速な応答時間が重要なリアルタイムアプリケーションで明らかです。

グループ化されたクエリアテンション（GQA）

GQAは、推論を高速化するために設計され、Mistral-7Bが迅速に応答できるようにします。これは、リアルタイムな対話を要求するアプリケーションに適しています。

Mistral-7Bのセットアップと展開

Mistral-7Bは展開において柔軟性を提供します。ローカルマシンで実行したり、AWS、GCP、Azureなどのクラウドプラットフォームに展開したりできます。以下は包括的なガイドです：

Dockerを使用したMistral-7Bの実行

GPU対応ホストを持っている方は、Dockerを使用してMistral-7Bを実行できます。以下はステップバイステップのガイドです：

1. Dockerイメージの取得:
   まず、vLLMと一緒にMistral-7Bを実行するために必要なすべてが含まれたDockerイメージを取得する必要があります。

   docker pull ghcr.io/mistralai/harmattan/vllm-public:latest

2. Dockerを使用してモデルを実行:
   イメージを取得したら、次のコマンドを使用してモデルを実行できます：

   docker run --gpus all \
   -e HF_TOKEN=$HF_TOKEN -p 8000:8000 \
   ghcr.io/mistralai/harmattan/vllm-public:latest \
   --host 0.0.0.0 \
   --model mistralai/Mistral-7B-v0.1

   注意: $HF_TOKEN をあなたのHugging Faceユーザーアクセストークンで置き換えてください。

vLLMを使用した直接の展開

直接の展開のために、Mistral-7BはCuda 11.8を搭載したGPU対応ホストでvLLMをサポートしています。以下は設定方法です：

1. インストール:
   pipを使用してvLLMをインストールします：

   pip install vllm

2. Hugging Face Hubへのログイン:
   モデルを使用する前に、Hugging Faceハブにログインする必要があります：

   huggingface-cli login

3. サーバーの起動:
   前提条件が整ったら、次のコマンドを使用してサーバーを開始します：

   python -u -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --model mistralai/Mistral-7B-v0.1

Mistral-7Bをローカルで実行する方法

Mistral-7Bが設定され、実行されたら、それと対話できます。モデルの使用方法の詳細なステップは、モデルとの対話 (opens in a new tab)ページで確認できます。このガイドでは、モデルへのリクエストの送信、レスポンスの理解、特定のタスクにモデルを微調整する方法についての洞察を提供します。

環境の設定

Mistral-7Bと対話する前に、環境を設定する必要があります：

1. OpenAI Pythonパッケージのインストール:
   このパッケージはモデルとの対話を容易にします。

   pip install openai

2. OpenAIモジュールの設定:
   モジュールをMistral-7Bが展開されたサーバーに向けて設定します。

   import openai
   openai.api_base = "http://your-server-ip-or-hostname:8000/v1"
   openai.api_key = "none"  # vLLMサーバーは認証されていません

Mistral-7Bを使用したテキストの補完

Mistral-7Bは、指定されたプロンプトを補完し、一貫性のある文脈に関連するテキストを提供できます。補完をトリガーする方法は次の通りです：

1. テキスト補完のためのサンプルコード:

   completion = openai.Completion.create(
     model="mistralai/Mistral-7B-Instruct-v0.1",
     prompt="ミストラルは",
     temperature=0.7,
     max_tokens=200,
     stop="。"
   )
   print(completion.to_dict_recursive())

   このコードは、次のような補完を出力します：

   {
     'id': 'cmpl-87f6980633bb45f5aecd551bc35335e6',
     'object': 'text_completion',
     'created': 1695651536,
     'model': 'mistralai/Mistral-7B-Instruct-v0.1',
     'choices': [{
       'index': 0,
       'text': '地中海上を吹く寒くて乾燥した北東風です',
       'logprobs': None,
       'finish_reason': 'stop'
     }],
     'usage': {'prompt_tokens': 5, 'total_tokens': 23, 'completion_tokens': 18}
   }

対話型チャットへの参加

Mistral-7Bは、ユーザーのクエリに対する会話形式の応答を提供することもできます。

1. チャット対話のサンプルコード:

   messages = [{"role": "user", "content": "フォルダ内のすべてのファイルをリストし、最終変更日でソートするBashコマンドは何ですか？"}]
   chat_completion = openai.ChatCompletion.create(
     model="mistralai/Mistral-7B-Instruct-v0.1",
     temperature=1,
     max_tokens=1024,
     messages=messages
   )

このコードはモデルとの対話を開始し、モデルはユーザーのクエリに関連する応答を提供します。

SkyPilotを使用したMistral-7Bの展開

SkyPilotは、Mistral 7BのようなLLMをさまざまなクラウドプラットフォームに展開するためのシームレスなエクスペリエンスを提供します。最大のコスト削減、最適なGPUの利用可能性、管理された実行を約束します。以下はSkyPilotを使用してMistral-7Bを展開するための詳細なガイドです：

SkyPilotの設定

1. 設定ファイルの作成:
   SkyPilotに展開サーバーのデプロイ仕様を指示する設定ファイルを作成して開始します。これはMistral AIが提供する事前構築のDockerコンテナを使用します。設定は次のようになります：

   envs:
     MODEL_NAME: mistralai/Mistral-7B-v0.1
   resources:
     cloud: aws
     accelerators: V100:1
     ports:
     - 8000
   run: |
     docker run --gpus all -p 8000:8000 ghcr.io/mistralai/harmattan/vllm-public:latest \\
     --host 0.0.0.0 \\
     --model $MODEL_NAME \\
     --tensor-parallel-size $SKYPILOT_NUM_GPUS_PER_NODE

2. 環境変数の設定:
   SkyPilotが推論サーバーコンテナとモデルのウェイトを取得できるように、特定の環境変数を設定する必要があります。

3. 推論サーバーの起動:
   環境変数が設定されている場合、次のコマンドを使用して推論サーバーを開始できます：

   sky launch mistral-7b-v0.1.yaml --region us-east-1

   注意: この方法で展開すると、モデルはグローバルにアクセス可能になります。これを確保することが重要です。モデルを専用のプライベートネットワークに公開したり、前段に認証メカニズムを備えたロードバランサーを追加したり、インスタンスのネットワーキングを適切に設定したりすることができます。

利用クォータとクラウドプロバイダ

多くのクラウドプロバイダは、パワフルなGPUインスタンスへの明示的なアクセス要求が必要です。これに関するガイダンスについては、SkyPilotのガイド (opens in a new tab)を参照できます。

結論：Mistral AIの将来の展望

Mistral-7Bは重要なマイルストーンですが、Mistral AIの旅はここで終わりません。NLPとAIの境界を押し広げるという会社のコミットメントは、将来の革新、改善、画期的なモデルを期待できることを保証します。

よくある質問（FAQ）

1. Mistral-7Bとは何ですか？
   Mistral-7Bは、Mistral AIによって開発された最新の大規模言語モデル（LLM）です。コード、数学、論理に関連するタスクに関して、多くの既存のモデルを凌駕することを目的としています。

2. Mistral-7Bをローカルマシンまたはクラウドに展開する方法は？
   Mistral-7Bは柔軟な展開オプションを提供しています。Dockerを使用してロ

ーカルマシンに展開するか、クラウドプロバイダ（AWS、GCP、Azureなど）を使用して展開することができます。また、SkyPilotを利用しても展開できます。

3. Mistral-7Bを使用したいが、どのようにアクセス権を取得できますか？
   Mistral-7Bのアクセスに関しては、Mistral AIの公式ウェブサイトまたはHugging Faceプラットフォームを参照してください。詳細な情報やアクセスプランはそちらで提供されています。

4. Mistral-7Bはどのようにコード生成タスクに対処しますか？
   Mistral-7Bはコード生成タスクに非常に適しており、コード補完、自動コード生成、コード説明などのタスクに利用できます。詳細はドキュメンテーションを参照してください。

このガイドでは、Mistral-7Bの重要な機能、セットアップ、展開、そしてその潜在的な応用について説明しました。Mistral-7Bは、AIおよびNLPの分野で新たな時代を切り開くものであり、その可能性を探求することは驚くべき冒険です。Mistral AIが今後どのような進化を遂げるか、期待して待ちましょう。

最新のLLMニュースを知りたいですか？最新のLLMリーダーボードをご覧ください！