
vLLM ベンチマーク入門 - ローカルLLMの推論速度と同時実行性能を測定する
「vLLM」のベンチマーク機能を使って、ローカルLLMの生成速度、応答時間、同時実行性能を測定する手順をまとめました。
1. はじめに
「vLLM」は、LLMを高速に実行するためのオープンソースの推論エンジンです。OpenAI互換APIを提供し、複数ユーザーからのリクエストを効率的に処理できます。
vLLMには、推論性能を測定する「vllm bench」が標準で用意されています。
主なベンチマークは、次のとおりです。
・serve:APIサーバーの応答速度とスループットを測定
・throughput:推論エンジン自体の処理性能を測定
・latency:単一バッチの推論時間を測定
・forward:モデルのForward処理を詳細に測定
今回は、実際のLLMサーバー運用に近い性能を確認できる「vllm bench serve」を紹介します。
2. ベンチマーク環境の準備
今回は、NVIDIA GPUを搭載したLinux環境で、8BクラスのLLMを使用します。
2-1. vLLMのインストール
次のコマンドでインストールします。
pip install "vllm[bench]"ベンチマークコマンドを確認します。
vllm bench --help2-2. APIサーバーの起動
検証用モデルとして「Qwen3-8B」を使用します。
vllm serve Qwen/Qwen3-8B \
--served-model-name local-model \
--max-model-len 8192 \
--host 127.0.0.1 \
--port 8000主なオプションは、次のとおりです。
・--served-model-name:API上で使用するモデル名
・--max-model-len:最大コンテキスト長
・--host / --port:待ち受けアドレスとポート番号
モデルの読み込みが完了すると、OpenAI互換APIサーバーが利用可能になります。
3. ベンチマークを実行する
3-1. 単独利用時の性能を測定する
別のターミナルで、次のコマンドを実行します。
vllm bench serve \
--backend openai \
--endpoint /v1/completions \
--model local-model \
--dataset-name random \
--random-input-len 1024 \
--random-output-len 256 \
--num-prompts 100 \
--max-concurrency 1入力1024トークン、最大出力256トークンのリクエストを100回実行します。
主なオプションは、次のとおりです。
・--backend:APIの通信方式
・--endpoint:APIエンドポイント
・--model:API上のモデル名
・--dataset-name:入力データセット
・--random-input-len:入力トークン数
・--random-output-len:出力トークン数
・--num-prompts:リクエスト総数
・--max-concurrency:最大同時リクエスト数
ここでは、同時実行数を1に制限し、単独利用時の性能を測定します。
3-2. 同時実行性能を測定する
複数リクエストを並列処理する性能を確認します。
vllm bench serve \
--backend openai \
--endpoint /v1/completions \
--model local-model \
--dataset-name random \
--random-input-len 1024 \
--random-output-len 256 \
--num-prompts 100 \
--max-concurrency 8--max-concurrency 8によって、最大8件のリクエストを同時に処理します。
同時実行数を1、2、4、8、16と変更することで、並列処理性能を比較できます。
3-3. リクエスト頻度を指定して負荷テストする
1秒あたりのリクエスト投入数も指定できます。
vllm bench serve \
--backend openai \
--endpoint /v1/completions \
--model local-model \
--dataset-name random \
--random-input-len 1024 \
--random-output-len 256 \
--num-prompts 100 \
--request-rate 2 \
--max-concurrency 8・--request-rate 2:平均2リクエスト/秒で投入
・--max-concurrency 8:最大8リクエストを同時処理
両方を指定することで、リクエストの到着頻度と最大同時実行数を制御し、実際のAPIサーバーに近い負荷を再現できます。ただし、サーバーの処理が追いつかない場合、実際の投入頻度は設定値より低くなることがあります。
3-4. ベンチマーク結果の確認
ベンチマークが完了すると、次のような結果が表示されます。
※ 数値は説明用の架空データです。
============ Serving Benchmark Result ============
Successful requests: 100
Benchmark duration (s): 522.00
Total input tokens: 102400
Total generated tokens: 25600
Request throughput (req/s): 0.19
Output token throughput (tok/s): 49.04
Total token throughput (tok/s): 245.21
Mean TTFT (ms): 120.00
Median TTFT (ms): 105.00
P99 TTFT (ms): 350.00
Mean TPOT (ms): 20.00
Median TPOT (ms): 19.00
P99 TPOT (ms): 35.00
・スループット
・Request throughput (req/s):1秒あたりに完了したリクエスト数
・Output token throughput (tok/s):1秒あたりに生成したトークン数
・Total token throughput (tok/s):入力と出力を合計したトークン処理数
特に重要なのが「Output token throughput」です。同時実行数を増やしてこの値が上昇すれば、並列処理の効果が出ていることになります。ただし、これはサーバー全体の生成速度であり、ユーザー1人あたりの速度とは異なります。
・レイテンシ
・TTFT (Time To First Token):最初のトークンが返るまでの時間
・TPOT (Time Per Output Token):最初のトークンを除いた、出力トークン1個あたりの平均生成時間
・ITL (Inter-Token Latency):連続するストリーミング出力の受信間隔
・E2EL (End-to-End Latency):リクエスト開始から完了までの時間
例えば、TPOTが20ms/tokenであれば、生成部分の速度は約50token/sに相当します。
・平均値とP99
・Mean:平均値
・Median:中央値
・P99:測定値の99パーセンタイル
P99 TTFTが1000msであれば、測定されたリクエストの約99%が1秒以内に応答を開始したことを意味します。
平均値が良好でも、P99が大きければ、一部のユーザーが長く待たされる可能性があります。
4. 同時実行数による性能比較
4-1. 同時実行数を変えて比較する
LLMサーバーの性能比較では、同時実行数を変えて測定します。
・同時実行数1:単独利用時の性能
・同時実行数4:少人数での共有
・同時実行数8:複数ユーザーでの利用
・同時実行数16:高負荷時の性能
同時実行数を増やすと、サーバー全体の生成量は増加しますが、一定以上では伸びが鈍化します。また、スループットが増加してもTTFTやTPOTが悪化する場合があるため、生成量と応答時間のバランスが重要です。
正確な比較には、GPU、モデル、量子化方式、入出力トークン数などの条件を統一します。また、Prefix Cacheによる測定結果への影響にも注意が必要です。
4-2. 測定結果をJSONに保存する
測定結果は、JSON形式で保存できます。
mkdir -p results
vllm bench serve \
--backend openai \
--endpoint /v1/completions \
--model local-model \
--dataset-name random \
--random-input-len 1024 \
--random-output-len 256 \
--num-prompts 100 \
--max-concurrency 8 \
--save-result \
--save-detailed \
--result-dir results・--save-result:測定結果をJSONで保存
・--save-detailed:リクエストごとの詳細結果も保存
・--result-dir:保存先ディレクトリ
保存したJSONをPythonなどで集計すれば、モデルやGPUごとの性能比較に利用できます。
【おまけ】 GuideLLMによる負荷テスト
「GuideLLM」は、vLLMプロジェクトが公開している、LLMサーバー向けのオープンソースのベンチマークツールです。
「vllm bench serve」でも負荷テストは可能ですが、GuideLLMは負荷を自動的に段階変化させ、サーバーの処理能力や限界を調べる用途に適しています。
主な特徴は、次のとおりです。
・負荷テスト:リクエスト投入頻度や同時実行数を変えて測定
・性能分析:スループット、TTFT、ITLなどを測定
・自動測定:負荷を段階的に変化させるSweepに対応
・レポート:測定結果をJSONやCSV形式で保存
・互換性:OpenAI互換APIの推論サーバーに対応
使い方は次のとおりです。
(1) GuideLLMをインストールする。
pip install "guidellm[recommended]"
(2) ベンチマークを実行する。
「2-2. APIサーバーの起動」で起動したvLLMサーバーに対して実行します。
guidellm run \
--backend kind=openai_http,target=http://localhost:8000 \
--profile kind=sweep \
--constraint kind=max_duration,seconds=30 \
--data kind=synthetic_text,prompt_tokens=1024,output_tokens=256主なオプションは、次のとおりです。
・--backend:測定対象のAPIサーバー
・--profile:負荷パターン(sweepは段階的な負荷テスト)
・--constraint:各負荷条件での測定時間などの制約
・--data:入力・出力トークン数
測定結果は「benchmarks.json」と「benchmarks.csv」に保存されます。