メインコンテンツへスキップ
見出し画像

Qwen3.8-27B の llama-server 最適解を探っていたら GPU×2 の環境でエラーが発生した話(LLAMA_GRAPH_REUSE_DISABLE=1 で解決?) − やっぱり xhigh は長いけど生成されたゲームの質は良い

    エラー

    effort = xhigh で実行すると、まー、長い(いまさらか)。 xhigh だからというより、一度の出力トークン数が多いから、のように見える。

    出力トークンが 4 万トークンを超えたあたりでエラーで落ちる。

    E /home/high-u/Sandboxes/llama.cpp/ggml/src/ggml-cuda/ggml-cuda.cu:107: CUDA error
    CUDA error: the launch timed out and was terminated
    E   current device: 1, in function ggml_backend_cuda_synchronize at /home/high-u/Sandboxes/llama.cpp/ggml/src/ggml-cuda/ggml-cuda.cu:2537
    E   cudaStreamSynchronize(cuda_ctx->stream())

    ただし、グラフィックボード 2 枚で実行している場合にしか発生していない。

    解決?

    この Issue に助けられた。まだ完全解決を宣言出来るほどではないが、連続でエラーになっていたのが、エラーが出なくなった。

    この環境変数は何だ?

    LLAMA_GRAPH_REUSE_DISABLE=1

    LLMの推論は、行列演算などの「計算グラフ」という形でGPUに渡される。1トークン生成するごとに、この計算グラフを毎回新しく組み立てるのは無駄が多い。前回と同じ形(トークン数や設定が変わらない)であれば、グラフの形はそのまま使い回して、埋め込まれている入力データだけ差し替える、という高速化が入っている。これが「グラフ再利用」。投機的デコードでは、下書き(draft)側と本番(target)側それぞれで計算グラフが組み立てられ、どちらでも同じグラフ再利用の仕組みが働く。

    環境変数 LLAMA_GRAPH_REUSE_DISABLE=1 を設定すると、このグラフ再利用をやめて、下書き側・本番側どちらも毎トークン必ずグラフを新規に組み立て直すようになる。

    なぜこれでクラッシュが収まったのか、その仕組みはわからない。GitHub上には、複数GPUに1つのテンソルを分割する構成(tensor分割)でグラフ再利用が原因になっている似た不具合の報告があるが、今回使っているのは層ごとにGPUへ振り分ける構成(layer分割。GPUのVRAM容量が違うため、按分だけ-tsオプションで調整している)で前提が異なり、その説明をそのまま当てはめることはできない。

    LLAMA_GRAPH_REUSE_DISABLE=1 を設定してから複数回クラッシュせずに生成が完了しているので、対症療法としては効果がありそうだが、根本原因は特定できていない。いつ発生するのか具体的な条件もわからない。

    🤖 Claude Sonnet

    エラーがでなくなった llama-server 起動コマンド。環境変数を付けただけだけど。

    LLAMA_GRAPH_REUSE_DISABLE=1 \
    llama-server -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL \
      -ngl 99 -fa on \
      --temp 0.7 --top-p 0.80 --top-k 20 --min-p 0.0 \
      --presence-penalty 1.5 --repeat-penalty 1.0 \
      --jinja --chat-template-kwargs '{"reasoning_effort": "xhigh"}' \
      -cb -np 1 \
      -ts 24,12 \
      -c 163840 \
      --alias "qwen3.8-27b" \
      -ctk q8_0 -ctv q8_0 \
      --host 0.0.0.0 \
      --no-mmproj-offload \
      --spec-type draft-mtp --spec-draft-n-max 3

    オプション

    • --no-mmproj-offload

      • マルチモーダルプロジェクターを CPU オフロードして、VRAM を少しでも空ける。画像の読み込みは遅くなる。

    • --spec-draft-n-max 3

      • とりあえず 3

    • -c 163840

      • 160K(2^17+2^15)コンテキスト

    • -ts 24,12

      • VRAM に振り分ける

      • 12GB側が OOM しない範囲で重みを寄せた結果の比率

    • -np 1

      • 並列数 1

      • 並列処理させない場合はこの設定を入れると生成が少し早くなる気がする。

    • -ngl 99

      • これを指定しないと、未指定のパラメータを空き VRAM に合わせて自動調整する機能が働いてしまう。OOM は発生しないが、当然、生成速度は遅くなる。

    せっかくなので

    何回も実行したので、出来の良かったやつを残しておく。

    (1) 森

    Flappy Bird 風のゲームを index.html のみで作成して。森の中を題材にしてほしいかな。localstorage は使わないこと。

    👦🏻 User

    落ち葉や、鳥の影が良い。

    (2) 月

    Flappy Bird 風のゲームを index.html のみで作成して。月を題材にしてほしいかな。localstorage は使わないこと。

    👦🏻 User

    ウサギがかわいい。それだけ。


    あなたへのおすすめ