メインコンテンツへスキップ
見出し画像

gemma-4-26B-A4B-it を CPU 実行 ➟ 【生成速度: 70 t/s】

    並列実行時のスループット

    ローカル LLM で軽いタスクをチャットアプリからポンポン投げるようなことを想定して同時実行時のスループットを計測してみる。
    っていうのは建前で、x.com で流れてたのを真似て遊んでみた。

    こんな感じで同時に実行。

    画像

    計測結果

    PP(プロンプト処理)

    12 並列のスループット:132 tokens/second

    | Parallel | Average (t/s) | Throughput (t/s) | Slowest gen (s) |
    | -------: | ------------: | ---------------: | --------------: |
    |        1 |         88.94 |            89.29 |            0.28 |
    |        2 |         46.92 |            82.26 |            0.62 |
    |        6 |         18.14 |           108.96 |            1.34 |
    |       12 |         11.28 |           132.47 |            2.31 |

    TG(テキスト生成)

    12 並列のスループット:70 tokens/second

    | Parallel | Average (t/s) | Throughput (t/s) | Slowest gen (s) |
    | -------: | ------------: | ---------------: | --------------: |
    |        1 |         34.46 |            34.47 |           29.71 |
    |        2 |         19.96 |            39.71 |           51.58 |
    |        6 |          6.14 |            36.16 |          169.89 |
    |       12 |          6.01 |            70.30 |          174.79 |

    Average を見ると、6 t/s くらいで下限?になる可能性。18 並列で動かしたら、スループットは 100 t/s を超えるのか?

    計測方法

    llama-server

    CUDA_VISIBLE_DEVICES="" \
    llama-server -hf unsloth/gemma-4-26B-A4B-it-qat-GGUF:UD-Q4_K_XL \
      -c 16384 \
      --temp 1.0 --top-p 0.95 --top-k 64 \
      --spec-type draft-mtp --spec-draft-n-max 4 \
      -fa on \
      --jinja --chat-template-kwargs '{"enable_thinking": false}' \
      -cb -np 12

    スクリプト

    tmux を使ったシェルスクリプト

    12 並列で動かす

    ./run.sh cpu 12

    終了する

    tmux kill-server

    以上

    あなたへのおすすめ