メインコンテンツへスキップ
見出し画像

CPU の並列実行はお遊びだった、GPU の並列実行は、まだ見ぬ世界へのいざないだった

    「おれ達はこんだけ働ける、あとはおまえ次第だ」

    って迫られ、鳥肌立った。
    これは、本当に、何かに役立てねば。

    計測結果

    テキスト生成の最大スループット

    • unsloth/gemma-4-26B-A4B-it-qat-GGUF

      • 542.80 t/s(12 並列)

    • unsloth/Qwen3.6-35B-A3B-MTP-GGUF

      • 395.21 t/s(12 並列)

    • unsloth/Qwen3.6-27B-MTP-GGUF

      • 198.42 t/s(12 並列)

    • unsloth/gemma-4-31B-it-qat-GGUF

      • 155.84 t/s(6 並列)

    MTP について

    MoE モデル

    • 単一実行でも、並列実行でも、MTP は遅くなる。二枚挿しの影響か。

    Dense モデル

    • 単一実行は、MTP で早くなる。

    • 並列実行は、MTP で遅くなる。二枚挿しの影響か。

    MoE モデルの単一実行が遅くなるのは謎。

    計測用スクリプト

    計測マシン

    unsloth/gemma-4-26B-A4B-it-qat-GGUF

    並列実行

    llama-server -hf unsloth/gemma-4-26B-A4B-it-qat-GGUF:UD-Q4_K_XL \
      -ngl 99 -fa on \
      --temp 1.0 --top-p 0.95 --top-k 64 \
      --jinja --chat-template-kwargs '{"enable_thinking": false}' \
      -c 16384 -cb -np 12 \
      --alias "gemma4-26b-a4b"
    MODEL=gemma4-26b-a4b MAX_TOKENS=1024 ./run.sh 12

    プロンプト処理

    | Parallel | Average (t/s) | Throughput (t/s) | Slowest prefill (s) |
    | -------: | ------------: | ---------------: | ------------------: |
    |        1 |        187.71 |           187.71 |                0.13 |
    |        2 |        444.74 |           889.48 |                0.06 |
    |        6 |        312.13 |          1872.80 |                0.09 |
    |       12 |        210.25 |          2523.02 |                0.13 |

    テキスト生成

    ⭐ 最大スループット:542.80 t/s(12 並列)

    | Parallel | Average (t/s) | Throughput (t/s) | Slowest gen (s) |
    | -------: | ------------: | ---------------: | --------------: |
    |        1 |        180.90 |           180.90 |            5.66 |
    |        2 |        146.25 |           292.51 |            7.00 |
    |        6 |         79.21 |           475.24 |           12.93 |
    |       12 |         45.23 |           542.80 |           22.64 |

    unsloth/Qwen3.6-35B-A3B-MTP-GGUF

    llama-server -hf unsloth/Qwen3.6-35B-A3B-MTP-GGUF:UD-Q4_K_XL \
      -ngl 99 -fa on \
      --temp 0.6 --top-p 0.95 --top-k 20 --min-p 0.0 \
      --presence-penalty 0.0 --repeat-penalty 1.0 \
      --jinja --chat-template-kwargs '{"enable_thinking": false}' \
      -c 16384 -cb -np 12 \
      --alias "qwen36-35b-a3b"
    MODEL=qwen36-35b-a3b MAX_TOKENS=1024 ./run.sh 12

    プロンプト処理

    | Parallel | Average (t/s) | Throughput (t/s) | Slowest (s) |
    | -------: | ------------: | ---------------: | ----------: |
    |        1 |        164.87 |           164.87 |        0.14 |
    |        2 |        300.33 |           600.66 |        0.08 |
    |        6 |         90.88 |           545.29 |        0.23 |
    |       12 |         59.76 |           717.10 |        0.34 |

    テキスト生成

    ⭐ 最大スループット:395.21 t/s(12 並列)

    | Parallel | Average (t/s) | Throughput (t/s) | Slowest (s) |
    | -------: | ------------: | ---------------: | ----------: |
    |        1 |        155.60 |           155.60 |        6.58 |
    |        2 |        124.57 |           249.14 |        8.22 |
    |        6 |         64.10 |           384.59 |       16.06 |
    |       12 |         32.93 |           395.21 |       31.22 |

    unsloth/Qwen3.6-27B-MTP-GGUF

    単一実行

    llama-server -hf unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q4_K_XL \
      -ngl 99 -fa on \
      --temp 0.6 --top-p 0.95 --top-k 20 --min-p 0.0 \
      --presence-penalty 0.0 --repeat-penalty 1.0 \
      --jinja --chat-template-kwargs '{"enable_thinking": false}' \
      -c 16384 -cb -np 1 \
      --alias "qwen36-27b" \
      --spec-type draft-mtp --spec-draft-n-max 2
    MODEL=qwen36-27b MAX_TOKENS=1024 ./run.sh 1

    並列実行

    llama-server -hf unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q4_K_XL \
      -ngl 99 -fa on \
      --temp 0.6 --top-p 0.95 --top-k 20 --min-p 0.0 \
      --presence-penalty 0.0 --repeat-penalty 1.0 \
      --jinja --chat-template-kwargs '{"enable_thinking": false}' \
      -c 16384 -cb -np 12 \
      --alias "qwen36-27b"
    MODEL=qwen36-27b MAX_TOKENS=1024 ./run.sh 12

    プロンプト処理

    | Parallel | Average (t/s) | Throughput (t/s) | Slowest (s) |
    | -------: | ------------: | ---------------: | ----------: |
    |        1 |        121.10 |           121.10 |        0.19 |
    |        2 |         88.07 |           176.14 |        0.27 |
    |        6 |         57.86 |           347.19 |        0.40 |
    |       12 |         27.44 |           329.29 |        0.79 |

    テキスト生成

    ⭐ 最大スループット:198.42 t/s(12 並列)

    | Parallel | Average (t/s) | Throughput (t/s) | Slowest (s) |
    | -------: | ------------: | ---------------: | ----------: |
    |        1 |         78.51 |            78.51 |       13.04 |
    |        2 |         33.45 |            66.90 |       30.61 |
    |        6 |         19.88 |           119.30 |       51.50 |
    |       12 |         16.53 |           198.42 |       62.27 |

    unsloth/gemma-4-31B-it-qat-GGUF

    単一実行

    llama-server -hf unsloth/gemma-4-31B-it-qat-GGUF:UD-Q4_K_XL \
      -ngl 99 -fa on \
      --temp 1.0 --top-p 0.95 --top-k 64 \
      --jinja --chat-template-kwargs '{"enable_thinking": false}' \
      -c 8192 -cb -np 1 \
      --alias "gemma4-31b" \
      --spec-type draft-mtp --spec-draft-n-max 4
    MODEL=gemma4-31b MAX_TOKENS=1024 ./run.sh 1

    並列実行

    VRAM 足らず、6 並列まで。コンテキストレングスも他の半分に。

    llama-server -hf unsloth/gemma-4-31B-it-qat-GGUF:UD-Q4_K_XL \
      -ngl 99 -fa on \
      --temp 1.0 --top-p 0.95 --top-k 64 \
      --jinja --chat-template-kwargs '{"enable_thinking": false}' \
      -c 8192 -cb -np 6 \
      --alias "gemma4-31b"
    MODEL=gemma4-31b MAX_TOKENS=1024 ./run.sh 6

    プロンプト処理

    | Parallel | Average (t/s) | Throughput (t/s) | Slowest (s) |
    | -------: | ------------: | ---------------: | ----------: |
    |        1 |        172.89 |           172.89 |        0.14 |
    |        2 |        165.90 |           331.80 |        0.17 |
    |        6 |        127.26 |           763.55 |        0.22 |

    テキスト生成

    ⭐ 最大スループット:155.84 t/s(6 並列)

    | Parallel | Average (t/s) | Throughput (t/s) | Slowest (s) |
    | -------: | ------------: | ---------------: | ----------: |
    |        1 |         72.57 |            72.57 |       14.11 |
    |        2 |         34.65 |            69.30 |       29.56 |
    |        6 |         25.97 |           155.84 |       39.44 |




    あなたへのおすすめ