vLLM: PagedAttentionを使ったLLMサービスの革命

Published on 2024/4/30

vLLMとPagedAttentionを備えたLLMが、LLMサービスのゲームを変革し、速度と効率性に優れたサービスを提供しています。

こんにちは！今日は、AIコミュニティで波を起こしている「vLLM」について詳しく掘り下げていきます。AIや大規模な言語モデル（LLM）に興味があるなら、これについて知りたいと思うでしょう。vLLMは単なるツールではありません。LLMの提供と活用の方法を変革し、より速く、効率的で、さまざまなプロジェクトやチームで利用できるようにする画期的な存在です。vLLMが何が特別で、私たちが待ち望んでいたブレークスルーになるか、探求してみましょう。

人工知能の世界では、大規模な言語モデル（LLM）の可能性は革命的なものでした。これらのモデルは、産業を変革し、技術と情報処理との新しい連携方法を提供する可能性があります。しかし、これらのモデルを提供するには多くの課題がありました。計算リソースを必要とし、強力なハードウェアが利用可能であるにもかかわらず、LLMを提供することは驚くほど遅くて高価でした。それが「vLLM」が登場する場所です。vLLMはAI技術の乱れた海で革新の光です。

vLLM: PagedAttentionを使った、手軽で速く、安価なLLMサービス

vLLMは2023年6月20日にUCバークレーのチームによって発表され、協力的なイノベーションが成し遂げることを示す明確な証拠です。Woosuk Kwon、Zhuohan Li、Siyuan Zhuang、Ying Sheng、Lianmin Zheng、Cody Yu、Joey Gonzalez、Hao Zhang、Ion Stoicaによって開発されたvLLMは、LLMサービスに直面する核心的な問題に取り組んでいます。革新的な注意アルゴリズムであるPagedAttentionを活用することで、vLLMはスループットと効率性の面で既存のソリューションを大幅に上回ります。

主な特徴：

GitHub | ドキュメント | ペーパー：vLLM (opens in a new tab)は、技術の詳細に立ち入るか、独自のLLMサービスニーズに利用するための貴重な情報源 (opens in a new tab)です。
比類なきパフォーマンス：ベンチマークにおいて、vLLMはHuggingFace Transformersなどの人気ライブラリと比較して最大24倍のスループットを実現しており、モデルアーキテクチャの変更を必要としません。

その成功の秘密: PagedAttention

PagedAttentionは、LLMサービスにおけるメモリのボトルネックに取り組むものです。より効果的に注意力のキーや値を管理することで、高いスループットと効率的なメモリ使用を可能にします。
柔軟性と効率性：オペレーティングシステムの仮想メモリシステムに触発されたPagedAttentionは、非連続なメモリブロックにキーと値を格納することができ、動的で効率的なメモリ管理が可能です。
最適化されたメモリ使用：この方法により、メモリの無駄を大幅に減らし、より高いGPU利用率を実現し、パフォーマンスを向上させることができます。

実用的な応用と影響

現実世界での展開：vLLMはChatbot ArenaやVicuna Demoなどのプラットフォームに展開され、数百万人のユーザーに対してその効果を証明しています。
コスト効率：スループットの向上とGPU要件の削減により、vLLMは小規模チームが手ごろな価格でLLMを提供することを可能にし、最先端のAI技術へのアクセスを民主化します。

vLLMの始め方

手を汚したくなる人にとって、vLLMを始めるのはGitHubからインストールするだけの単純なコマンドを実行することです。オフラインの推論を行うか、オンラインのサービスシステムを構築するかにかかわらず、vLLMは柔軟性と使いやすさを提供します。

インストール：シンプルで使いやすく、実行するために単一のコマンドが必要です。
使用シナリオ：データセットへのバッチ推論から、オンラインサービス用のOpenAI API互換のサーバーの実行まで、さまざまなユースケースをサポートしています。

vLLMの実践: ステップバイステップガイド

vLLMとの作業を体験してみるためのクイックガイドをご紹介します。

オフラインバッチ推論：リストのプロンプトから高スループットのテキスト生成にvLLMを使用する方法を学びます。
APIサーバーの構築：OpenAI APIと互換性のあるLLMサービス用のAPIサーバーの設定手順を実行します。
高度な機能：vLLMの能力を探索し、並列サンプリングやビームサーチなどの複雑なサンプリングアルゴリズムを簡単に処理する方法を見てみましょう。

これにより、よりアクセスしやすく、効率的でスケーラブルなLLMサービスの道を開拓します。研究者、開発者、AI愛好家であっても、vLLMは大規模な言語モデルで可能な範囲を広げる機会を提供します。さあ、技術的な詳細に立ち入り、vLLMの動作を見てみましょう。

vLLMのさらなる探求

vLLMは、印象的なパフォーマンスだけでなく、使いやすさでも際立っています。既存のツールとワークフローとのシームレスな統合を提供し、さまざまなLLMサービスのニーズに対応する多目的な選択肢です。

vLLMの主な特徴

vLLMは、LLMサービスに関連する多くの課題に取り組む機能のスイートを提供しています。

最先端のサービススループット：最適化されたCUDAカーネルと革新的なPagedAttentionアルゴリズムを活用することで、vLLMは比類ないサービス速度を実現します。
効率的なメモリ管理：PagedAttentionを通じて、vLLMは注意キーと値のメモリを効果的に管理し、LLM推論のメモリフットプリントを大幅に削減します。
連続的なバッチ処理：vLLMは、入力リクエストを連続的にバッチ処理することができ、ハードウェアの利用率とスループットを最大化します。
最適化されたCUDAカーネル：カスタムCUDAカーネルの使用により、パフォーマンスがさらに向上し、vLLMができるだけ効率的に実行されることが保証されます。

vLLMとLangChainの始め方

vLLMをプロジェクトに統合するのは簡単です。一般的なPythonパッケージとの互換性があるため、以下のクイックスタートガイドに従ってください：

インストール： vllmのPythonパッケージがインストールされていることを確認してください。pipを使用してインストールすることができます：
```
%pip install --upgrade --quiet vllm -q
```

基本的な使い方： langchain_community.llmsパッケージからVLLMをインポートし、所望のモデルで初期化してください。以下に例を示します：

from langchain_community.llms import VLLM
 
llm = VLLM(
    model="mosaicml/mpt-7b",
    trust_remote_code=True,  # hfモデルには必須
    max_new_tokens=128,
    top_k=10,
    top_p=0.95,
    temperature=0.8,
)
 
print(llm.invoke("フランスの首都は何ですか？"))

このシンプルなスクリプトは、「フランスの首都はパリ」という結果を返します。

LLMChainを使用した推論の強化

より複雑な推論タスクでは、vLLMをLLMChainに統合して、高度なプロンプトエンジニアリングと処理を行うことができます：

from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate
 
template = """質問: {question}
 
回答: ステップバイステップで考えましょう。"""
prompt = PromptTemplate.from_template(template)
 
llm_chain = LLMChain(prompt=prompt, llm=llm)
 
question = "最初のポケモンゲームがリリースされた年のアメリカ合衆国大統領は誰でしたか?"
 
print(llm_chain.invoke(question))

このアプローチにより、ステップバイステップの推論が可能になり、複雑な質問に対して詳細な回答が得られます。

分散推論と量子化

vLLMは、分散推論や量子化といった高度な機能をサポートしており、高い要求環境に適しています：

分散推論：複数のGPUを利用するには、VLLMを初期化する際にtensor_parallel_size引数を設定します。
量子化：vLLMはAWQ量子化もサポートしており、性能を犠牲にすることなくモデルのメモリ使用量を大幅に削減することができます。

OpenAI互換サーバー

vLLMの最も強力な機能の一つは、OpenAI APIプロトコルを模倣する能力です。これにより、現在OpenAI APIを使用しているアプリケーションに簡単に統合することができます。この機能により、効率的でスケーラブルなLLMソリューションの展開に無限の可能性が広がります。

まとめ：vLLMによるLLMサービングの未来

vLLMは、LLMサービング技術の大きな進歩を表しています。高いスループット、効率的なメモリ管理、使いやすさの組み合わせにより、vLLMはAIの世界で重要な役割を果たすことができます。既存のアプリケーションを強化したり、LLMを使った新しい可能性を探索したりする場合、vLLMはプロジェクトを成功に導くためのツールとパフォーマンスを提供します。コミュニティがvLLMの機能をさらに探求し拡張していくにつれ、さらに革新的なアプリケーションや改善が期待されます。

ビクーニャLLM：ローカルLLMの次のビッグなもの Wizard-Vicuna-13B-Uncensoredアンセンサード：アンセンサードのChatGPT代替