
gemma-4-26B-A4B-it を CPU 実行 ➟ 【生成速度: 70 t/s】
並列実行時のスループット
ローカル LLM で軽いタスクをチャットアプリからポンポン投げるようなことを想定して同時実行時のスループットを計測してみる。
っていうのは建前で、x.com で流れてたのを真似て遊んでみた。
こんな感じで同時に実行。

計測結果
PP(プロンプト処理)
12 並列のスループット:132 tokens/second
| Parallel | Average (t/s) | Throughput (t/s) | Slowest gen (s) |
| -------: | ------------: | ---------------: | --------------: |
| 1 | 88.94 | 89.29 | 0.28 |
| 2 | 46.92 | 82.26 | 0.62 |
| 6 | 18.14 | 108.96 | 1.34 |
| 12 | 11.28 | 132.47 | 2.31 |TG(テキスト生成)
12 並列のスループット:70 tokens/second
| Parallel | Average (t/s) | Throughput (t/s) | Slowest gen (s) |
| -------: | ------------: | ---------------: | --------------: |
| 1 | 34.46 | 34.47 | 29.71 |
| 2 | 19.96 | 39.71 | 51.58 |
| 6 | 6.14 | 36.16 | 169.89 |
| 12 | 6.01 | 70.30 | 174.79 |Average を見ると、6 t/s くらいで下限?になる可能性。18 並列で動かしたら、スループットは 100 t/s を超えるのか?
計測方法
llama-server
CUDA_VISIBLE_DEVICES="" \
llama-server -hf unsloth/gemma-4-26B-A4B-it-qat-GGUF:UD-Q4_K_XL \
-c 16384 \
--temp 1.0 --top-p 0.95 --top-k 64 \
--spec-type draft-mtp --spec-draft-n-max 4 \
-fa on \
--jinja --chat-template-kwargs '{"enable_thinking": false}' \
-cb -np 12スクリプト
tmux を使ったシェルスクリプト
12 並列で動かす
./run.sh cpu 12終了する
tmux kill-server以上