
CPU の並列実行はお遊びだった、GPU の並列実行は、まだ見ぬ世界へのいざないだった
「おれ達はこんだけ働ける、あとはおまえ次第だ」
って迫られ、鳥肌立った。
これは、本当に、何かに役立てねば。
計測結果
テキスト生成の最大スループット
unsloth/gemma-4-26B-A4B-it-qat-GGUF
542.80 t/s(12 並列)
unsloth/Qwen3.6-35B-A3B-MTP-GGUF
395.21 t/s(12 並列)
unsloth/Qwen3.6-27B-MTP-GGUF
198.42 t/s(12 並列)
unsloth/gemma-4-31B-it-qat-GGUF
155.84 t/s(6 並列)
MTP について
MoE モデル
単一実行でも、並列実行でも、MTP は遅くなる。二枚挿しの影響か。
Dense モデル
単一実行は、MTP で早くなる。
並列実行は、MTP で遅くなる。二枚挿しの影響か。
MoE モデルの単一実行が遅くなるのは謎。
計測用スクリプト
計測マシン
unsloth/gemma-4-26B-A4B-it-qat-GGUF
並列実行
llama-server -hf unsloth/gemma-4-26B-A4B-it-qat-GGUF:UD-Q4_K_XL \
-ngl 99 -fa on \
--temp 1.0 --top-p 0.95 --top-k 64 \
--jinja --chat-template-kwargs '{"enable_thinking": false}' \
-c 16384 -cb -np 12 \
--alias "gemma4-26b-a4b"MODEL=gemma4-26b-a4b MAX_TOKENS=1024 ./run.sh 12プロンプト処理
| Parallel | Average (t/s) | Throughput (t/s) | Slowest prefill (s) |
| -------: | ------------: | ---------------: | ------------------: |
| 1 | 187.71 | 187.71 | 0.13 |
| 2 | 444.74 | 889.48 | 0.06 |
| 6 | 312.13 | 1872.80 | 0.09 |
| 12 | 210.25 | 2523.02 | 0.13 |テキスト生成
⭐ 最大スループット:542.80 t/s(12 並列)
| Parallel | Average (t/s) | Throughput (t/s) | Slowest gen (s) |
| -------: | ------------: | ---------------: | --------------: |
| 1 | 180.90 | 180.90 | 5.66 |
| 2 | 146.25 | 292.51 | 7.00 |
| 6 | 79.21 | 475.24 | 12.93 |
| 12 | 45.23 | 542.80 | 22.64 |unsloth/Qwen3.6-35B-A3B-MTP-GGUF
llama-server -hf unsloth/Qwen3.6-35B-A3B-MTP-GGUF:UD-Q4_K_XL \
-ngl 99 -fa on \
--temp 0.6 --top-p 0.95 --top-k 20 --min-p 0.0 \
--presence-penalty 0.0 --repeat-penalty 1.0 \
--jinja --chat-template-kwargs '{"enable_thinking": false}' \
-c 16384 -cb -np 12 \
--alias "qwen36-35b-a3b"MODEL=qwen36-35b-a3b MAX_TOKENS=1024 ./run.sh 12プロンプト処理
| Parallel | Average (t/s) | Throughput (t/s) | Slowest (s) |
| -------: | ------------: | ---------------: | ----------: |
| 1 | 164.87 | 164.87 | 0.14 |
| 2 | 300.33 | 600.66 | 0.08 |
| 6 | 90.88 | 545.29 | 0.23 |
| 12 | 59.76 | 717.10 | 0.34 |テキスト生成
⭐ 最大スループット:395.21 t/s(12 並列)
| Parallel | Average (t/s) | Throughput (t/s) | Slowest (s) |
| -------: | ------------: | ---------------: | ----------: |
| 1 | 155.60 | 155.60 | 6.58 |
| 2 | 124.57 | 249.14 | 8.22 |
| 6 | 64.10 | 384.59 | 16.06 |
| 12 | 32.93 | 395.21 | 31.22 |unsloth/Qwen3.6-27B-MTP-GGUF
単一実行
llama-server -hf unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q4_K_XL \
-ngl 99 -fa on \
--temp 0.6 --top-p 0.95 --top-k 20 --min-p 0.0 \
--presence-penalty 0.0 --repeat-penalty 1.0 \
--jinja --chat-template-kwargs '{"enable_thinking": false}' \
-c 16384 -cb -np 1 \
--alias "qwen36-27b" \
--spec-type draft-mtp --spec-draft-n-max 2MODEL=qwen36-27b MAX_TOKENS=1024 ./run.sh 1並列実行
llama-server -hf unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q4_K_XL \
-ngl 99 -fa on \
--temp 0.6 --top-p 0.95 --top-k 20 --min-p 0.0 \
--presence-penalty 0.0 --repeat-penalty 1.0 \
--jinja --chat-template-kwargs '{"enable_thinking": false}' \
-c 16384 -cb -np 12 \
--alias "qwen36-27b"MODEL=qwen36-27b MAX_TOKENS=1024 ./run.sh 12プロンプト処理
| Parallel | Average (t/s) | Throughput (t/s) | Slowest (s) |
| -------: | ------------: | ---------------: | ----------: |
| 1 | 121.10 | 121.10 | 0.19 |
| 2 | 88.07 | 176.14 | 0.27 |
| 6 | 57.86 | 347.19 | 0.40 |
| 12 | 27.44 | 329.29 | 0.79 |テキスト生成
⭐ 最大スループット:198.42 t/s(12 並列)
| Parallel | Average (t/s) | Throughput (t/s) | Slowest (s) |
| -------: | ------------: | ---------------: | ----------: |
| 1 | 78.51 | 78.51 | 13.04 |
| 2 | 33.45 | 66.90 | 30.61 |
| 6 | 19.88 | 119.30 | 51.50 |
| 12 | 16.53 | 198.42 | 62.27 |unsloth/gemma-4-31B-it-qat-GGUF
単一実行
llama-server -hf unsloth/gemma-4-31B-it-qat-GGUF:UD-Q4_K_XL \
-ngl 99 -fa on \
--temp 1.0 --top-p 0.95 --top-k 64 \
--jinja --chat-template-kwargs '{"enable_thinking": false}' \
-c 8192 -cb -np 1 \
--alias "gemma4-31b" \
--spec-type draft-mtp --spec-draft-n-max 4MODEL=gemma4-31b MAX_TOKENS=1024 ./run.sh 1並列実行
VRAM 足らず、6 並列まで。コンテキストレングスも他の半分に。
llama-server -hf unsloth/gemma-4-31B-it-qat-GGUF:UD-Q4_K_XL \
-ngl 99 -fa on \
--temp 1.0 --top-p 0.95 --top-k 64 \
--jinja --chat-template-kwargs '{"enable_thinking": false}' \
-c 8192 -cb -np 6 \
--alias "gemma4-31b"MODEL=gemma4-31b MAX_TOKENS=1024 ./run.sh 6プロンプト処理
| Parallel | Average (t/s) | Throughput (t/s) | Slowest (s) |
| -------: | ------------: | ---------------: | ----------: |
| 1 | 172.89 | 172.89 | 0.14 |
| 2 | 165.90 | 331.80 | 0.17 |
| 6 | 127.26 | 763.55 | 0.22 |テキスト生成
⭐ 最大スループット:155.84 t/s(6 並列)
| Parallel | Average (t/s) | Throughput (t/s) | Slowest (s) |
| -------: | ------------: | ---------------: | ----------: |
| 1 | 72.57 | 72.57 | 14.11 |
| 2 | 34.65 | 69.30 | 29.56 |
| 6 | 25.97 | 155.84 | 39.44 |