メインコンテンツへスキップ
見出し画像

vLLM ベンチマーク入門 - ローカルLLMの推論速度と同時実行性能を測定する

    「vLLM」のベンチマーク機能を使って、ローカルLLMの生成速度、応答時間、同時実行性能を測定する手順をまとめました。

    1. はじめに

    「vLLM」は、LLMを高速に実行するためのオープンソースの推論エンジンです。OpenAI互換APIを提供し、複数ユーザーからのリクエストを効率的に処理できます。
    vLLMには、推論性能を測定する「vllm bench」が標準で用意されています。

    主なベンチマークは、次のとおりです。

    ・serve:APIサーバーの応答速度とスループットを測定
    ・throughput:推論エンジン自体の処理性能を測定
    ・latency:単一バッチの推論時間を測定
    ・forward:モデルのForward処理を詳細に測定

    今回は、実際のLLMサーバー運用に近い性能を確認できる「vllm bench serve」を紹介します。

    2. ベンチマーク環境の準備

    今回は、NVIDIA GPUを搭載したLinux環境で、8BクラスのLLMを使用します。

    2-1. vLLMのインストール

    次のコマンドでインストールします。

    pip install "vllm[bench]"

    ベンチマークコマンドを確認します。

    vllm bench --help

    2-2. APIサーバーの起動

    検証用モデルとして「Qwen3-8B」を使用します。

    vllm serve Qwen/Qwen3-8B \
      --served-model-name local-model \
      --max-model-len 8192 \
      --host 127.0.0.1 \
      --port 8000

    主なオプションは、次のとおりです。

    ・--served-model-name:API上で使用するモデル名
    ・--max-model-len:最大コンテキスト長
    ・--host / --port:待ち受けアドレスとポート番号

    モデルの読み込みが完了すると、OpenAI互換APIサーバーが利用可能になります。

    3. ベンチマークを実行する

    3-1. 単独利用時の性能を測定する

    別のターミナルで、次のコマンドを実行します。

    vllm bench serve \
      --backend openai \
      --endpoint /v1/completions \
      --model local-model \
      --dataset-name random \
      --random-input-len 1024 \
      --random-output-len 256 \
      --num-prompts 100 \
      --max-concurrency 1

    入力1024トークン、最大出力256トークンのリクエストを100回実行します。

    主なオプションは、次のとおりです。

    ・--backend:APIの通信方式
    ・--endpoint:APIエンドポイント
    ・--model:API上のモデル名
    ・--dataset-name:入力データセット
    ・--random-input-len:入力トークン数
    ・--random-output-len:出力トークン数
    ・--num-prompts:リクエスト総数
    ・--max-concurrency:最大同時リクエスト数

    ここでは、同時実行数を1に制限し、単独利用時の性能を測定します。

    3-2. 同時実行性能を測定する

    複数リクエストを並列処理する性能を確認します。

    vllm bench serve \
      --backend openai \
      --endpoint /v1/completions \
      --model local-model \
      --dataset-name random \
      --random-input-len 1024 \
      --random-output-len 256 \
      --num-prompts 100 \
      --max-concurrency 8

    --max-concurrency 8によって、最大8件のリクエストを同時に処理します。

    同時実行数を1、2、4、8、16と変更することで、並列処理性能を比較できます。

    3-3. リクエスト頻度を指定して負荷テストする

    1秒あたりのリクエスト投入数も指定できます。

    vllm bench serve \
      --backend openai \
      --endpoint /v1/completions \
      --model local-model \
      --dataset-name random \
      --random-input-len 1024 \
      --random-output-len 256 \
      --num-prompts 100 \
      --request-rate 2 \
      --max-concurrency 8

    ・--request-rate 2:平均2リクエスト/秒で投入
    ・--max-concurrency 8:最大8リクエストを同時処理

    両方を指定することで、リクエストの到着頻度と最大同時実行数を制御し、実際のAPIサーバーに近い負荷を再現できます。ただし、サーバーの処理が追いつかない場合、実際の投入頻度は設定値より低くなることがあります。

    3-4. ベンチマーク結果の確認

    ベンチマークが完了すると、次のような結果が表示されます。

    ※ 数値は説明用の架空データです。

    ============ Serving Benchmark Result ============
    Successful requests:                100
    Benchmark duration (s):             522.00
    Total input tokens:                 102400
    Total generated tokens:             25600
    
    Request throughput (req/s):         0.19
    Output token throughput (tok/s):    49.04
    Total token throughput (tok/s):     245.21
    
    Mean TTFT (ms):                     120.00
    Median TTFT (ms):                   105.00
    P99 TTFT (ms):                      350.00
    
    Mean TPOT (ms):                     20.00
    Median TPOT (ms):                   19.00
    P99 TPOT (ms):                      35.00


    ・スループット

    ・Request throughput (req/s):1秒あたりに完了したリクエスト数
    ・Output token throughput (tok/s):1秒あたりに生成したトークン数
    ・Total token throughput (tok/s):入力と出力を合計したトークン処理数

    特に重要なのが「Output token throughput」です。同時実行数を増やしてこの値が上昇すれば、並列処理の効果が出ていることになります。ただし、これはサーバー全体の生成速度であり、ユーザー1人あたりの速度とは異なります。


    ・レイテンシ

    ・TTFT (Time To First Token):最初のトークンが返るまでの時間
    ・TPOT (Time Per Output Token):最初のトークンを除いた、出力トークン1個あたりの平均生成時間
    ・ITL (Inter-Token Latency):連続するストリーミング出力の受信間隔
    ・E2EL (End-to-End Latency):リクエスト開始から完了までの時間

    例えば、TPOTが20ms/tokenであれば、生成部分の速度は約50token/sに相当します。

    ・平均値とP99

    ・Mean:平均値
    ・Median:中央値
    ・P99:測定値の99パーセンタイル

    P99 TTFTが1000msであれば、測定されたリクエストの約99%が1秒以内に応答を開始したことを意味します。

    平均値が良好でも、P99が大きければ、一部のユーザーが長く待たされる可能性があります。

    4. 同時実行数による性能比較

    4-1. 同時実行数を変えて比較する

    LLMサーバーの性能比較では、同時実行数を変えて測定します。

    ・同時実行数1:単独利用時の性能
    ・同時実行数4:少人数での共有
    ・同時実行数8:複数ユーザーでの利用
    ・同時実行数16:高負荷時の性能

    同時実行数を増やすと、サーバー全体の生成量は増加しますが、一定以上では伸びが鈍化します。また、スループットが増加してもTTFTやTPOTが悪化する場合があるため、生成量と応答時間のバランスが重要です。

    正確な比較には、GPU、モデル、量子化方式、入出力トークン数などの条件を統一します。また、Prefix Cacheによる測定結果への影響にも注意が必要です。

    4-2. 測定結果をJSONに保存する

    測定結果は、JSON形式で保存できます。

    mkdir -p results
    
    vllm bench serve \
      --backend openai \
      --endpoint /v1/completions \
      --model local-model \
      --dataset-name random \
      --random-input-len 1024 \
      --random-output-len 256 \
      --num-prompts 100 \
      --max-concurrency 8 \
      --save-result \
      --save-detailed \
      --result-dir results

    ・--save-result:測定結果をJSONで保存
    ・--save-detailed:リクエストごとの詳細結果も保存
    ・--result-dir:保存先ディレクトリ

    保存したJSONをPythonなどで集計すれば、モデルやGPUごとの性能比較に利用できます。

    【おまけ】 GuideLLMによる負荷テスト

    「GuideLLM」は、vLLMプロジェクトが公開している、LLMサーバー向けのオープンソースのベンチマークツールです。
    「vllm bench serve」でも負荷テストは可能ですが、GuideLLMは負荷を自動的に段階変化させ、サーバーの処理能力や限界を調べる用途に適しています。

    主な特徴は、次のとおりです。

    ・負荷テスト:リクエスト投入頻度や同時実行数を変えて測定
    ・性能分析:スループット、TTFT、ITLなどを測定
    ・自動測定:負荷を段階的に変化させるSweepに対応
    ・レポート:測定結果をJSONやCSV形式で保存
    ・互換性:OpenAI互換APIの推論サーバーに対応

    使い方は次のとおりです。

    (1) GuideLLMをインストールする。

    pip install "guidellm[recommended]"


    (2) ベンチマークを実行する。
    「2-2. APIサーバーの起動」で起動したvLLMサーバーに対して実行します。

    guidellm run \
      --backend kind=openai_http,target=http://localhost:8000 \
      --profile kind=sweep \
      --constraint kind=max_duration,seconds=30 \
      --data kind=synthetic_text,prompt_tokens=1024,output_tokens=256

    主なオプションは、次のとおりです。

    ・--backend:測定対象のAPIサーバー
    ・--profile:負荷パターン(sweepは段階的な負荷テスト)
    ・--constraint:各負荷条件での測定時間などの制約
    ・--data:入力・出力トークン数

    測定結果は「benchmarks.json」と「benchmarks.csv」に保存されます。



     
     

    npaka

     
     
    プログラマー。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガジェット。年2冊ペースで技術書を執筆。アニソン / カラオケ / ギター / 猫 twitter : @npaka123

    あなたへのおすすめ