メインコンテンツへスキップ
見出し画像

Abyss v1.3.134 まで進めた。Basalt との差を詰め、GLM-5.3 と DeepSeek にも広げ、16GB で Ornith の 128K を動かす

    画像
    • v1.3.100〜1.3.134(11 月 2 日〜12 日、35 版)の話です。答えを 1 ビットも変えずに、Qwen3.8-Flash-Next は 1.5 倍、GLM-5.3-Flash と DeepSeek V4 / V4.1 は 1 割速くなりました。

    • それでも、同じ PC・同じ重みの Basalt には届いていません(6〜7 割)。

    • v1.3.134 で、VRAM 16GB でも Ornith-1.5 が文脈 128K で動きます(`--kv q4_0`、#44)。

    この記事は全部無料です。数字の出し方と、どの手がなぜ効いたかは、別の記事に分けます。

    同じ重みで、Basalt の約半分だった

    画像

    Basalt は、Strata から分かれたエンジンです。Qwen3.8-Flash-Next と DeepSeek V4.1 に絞り、RTX 50 シリーズ(sm_120)だけで動きます。11 月 11 日に手元でビルドして、同じ RTX 5090、同じ unsloth UD 3.1 UD-IQ3_XXS の重みで比べました。

    結果は、はっきり負けでした。4K のプロンプトのあとに答えを書く速さは、Abyss v1.3.130 の 97.9 tok/s に対して、Basalt は 204.1 tok/s です。MTP ドラフターありでは 160.4 と 328.0 です。

    ソースを読むと、Basalt も Claude Code で書かれていました。コミットに Claude の名前が並んでいます。道具は同じなので、違うのはどこに力を集めたかだと思います。

    • Basalt:モデル 2 つ、GPU は RTX 50 シリーズだけ。その 1 本の道を、とことん速くしています。

    • Abyss:モデル 4 つ以上、NVIDIA と AMD、Linux と Windows、GPU 12〜32GB、RAM 64〜256GB。広く動くことを先にしています。

    広く動かす分、1 本の道は詰め切れていませんでした。そこで 11 月 11 日は、Qwen3.8 の 1 トークンの中身を nsys で並べて、どこに差があるかを調べました。

    ただし、VRAM を 16GB、RAM 層を 36GB に絞ると、差は小さくなります。Qwen3.8 GSQ-RCO IQ3_S の文章(prose)で、Abyss 64.1 tok/s、Basalt 73.0 tok/s です。PCIe や CPU が詰まる PC では、GPU の中の速さが効きにくいからです。うちのリンクは OCuLink の Gen4 x4 です。

    図2 の v1.3.131 → v1.3.132 は、Basalt とは別の日に、前後の版を交互に測った数字です。Basalt と同じ日に測ったのは、上の v1.3.130 です。

    決まりは 1 つ:答えを変えない

    損失のある手も含めれば、速くする方法はいくらでもあります。エキスパートを少し飛ばす、精度を落とす、などです。Abyss では、それは既定にしません。

    今回の変更は、どれも「同じビットが出る」ものだけです。`STRATA_DETERMINISTIC=1` と温度 0 で、コード・日本語・4K のプロンプトに答えさせ、前の版と出力の md5 を比べました。1 つでも違えば、その変更は捨てます。

    同じ質問に、毎回同じ答え(v1.3.124〜1.3.132)

    md5 で比べられるのは、そもそも毎回同じ答えが出るからです。ここは、この 10 日でやっと揃いました。

    Abyss では、VRAM に入らないエキスパートの一部を CPU が計算します(CPU レーン)。どれを CPU に回すかは、その時の時間で決まります。CPU と GPU では計算の丸め方が少し違うので、温度 0 でも、同じ質問の答えが回ごとに変わることがありました。

    順に直しました。

    • v1.3.124:CPU レーンが、GPU と同じ形で計算するように。差は約 1e-7 で、20 種類の量子化の型で確かめました。

    • v1.3.125:Qwen3.8 で、ドラフターありとなしの答えが同じトークンに。

    • v1.3.127:層ごとのエキスパートの和を固定小数点で取るように。どれを CPU が計算しても、同じビットになります。答えが分かれた回は、20 回中 15 回 → 0 回です。

    • v1.3.128:VRAM 16GB でも同じ答えに。16GB での速さも 96.4 → 103.0 tok/s に上がりました。

    • v1.3.132:プロンプトを読む側に残っていたずれを 2 つ直しました。約 2,000 トークンまでのプロンプトなら、既定の設定のまま、3 回別々に起動しても同じトークンが出ます。

    途中で 1 つ失敗しています。v1.3.124 の CPU の計算を全モデルでオンにしたら、GLM-5.3-Flash が 44.6 → 38.2 tok/s に落ちていました。毎週、最新の版を同じ PC で測り直す決まりで見つけ、v1.3.129 で Qwen3.8 だけに戻しました。いまは既定を変えるとき、4 つのモデルすべてを測っています。

    効いたこと、効かなかったこと(v1.3.132)

    画像

    Qwen3.8-Flash-Next UD 3.1 UD-IQ3_XXS、ドラフターなしで、変更を 1 つずつオン・オフして測った数字です。

    効いたもの:

    • hyper-connection の混合を 1 つのカーネルに(以前は 5 回の起動):98.0 → 110.3 tok/s(+12.6%)

    • 裏で動かすエキスパートのコピーを、1 MiB ずつから 512 KiB ずつに:+8.9%

    • PDL(前のカーネルが終わりかけたところで次を始める)を既定でオン:+7.6%

    • 空けておく VRAM を 1.5GB から 700MB に(エキスパートの枠が 432 個増える):+6.3%

    • VRAM に置くエキスパートを、最近使ったものほど残す数え方に:+5.9%

    • delta-net の中間を 1 回の起動に:+2.7%

    • QSA の top-k、argmax、次のトークンの準備の前倒しなど:+2.2%

    • CPU レーン(AVX-512)の IQ2_S / IQ3_XXS / IQ4_NL:+1.8%(MTP ありでは +4.5%)

    測った順に積み上がっているので、足し算にはなりません。全部入りで 95.4 → 142.2 tok/s です。

    効かなかったもの:PDL を入れたあと、カーネルの「つなぎ目」をさらに詰める手を 4 つ、5 回試しました。どれも速くなりませんでした。1 つは答えが変わったので捨てています。PDL で、つなぎ目の時間はもうほとんど隠れていたのです。残りの差は、エキスパートの読み出しと、CPU レーンを待つ時間にあります。

    v1.3.132 の Qwen3.8 は、ドラフターなしで 142.2 tok/s、MTP ありで 197.6 tok/s です。Basalt の 204.1 / 328.0 には、まだ届きません。それでも、ドラフターなしで 7 割、MTP ありで 6 割まで来ました。

    小さい PC でも効くかも確かめました。エキスパートの置き場を 16GB に絞ると、新しい数え方だけで +5.9%(MTP +11.1%)です。AVX-512 のない CPU(AVX2)では +8.3%(MTP +11.7%)でした。CPU レーンに回るエキスパートが減るので、CPU の弱い PC ほど効きます。

    GLM-5.3 と DeepSeek にも広げた(v1.3.132〜1.3.133)

    画像

    使う人が多いのは、GLM-5.3-Flash と DeepSeek V4 / V4.1 です。Qwen3.8 で効いた手を、1 つずつ移して測りました。

    移せたのは、エキスパートの数え方だけでした。PDL と 512 KiB のコピーは、この 3 モデルでは速くなりません。エキスパートが 7〜8MB と大きく、Qwen3.8 とは時間の使い方が違うからです。

    そこで、この 3 モデルの 1 層を nsys で見直しました。ルートを決めてから CPU レーンの答えが返るまでの約 215 µs、PCIe はほとんど空いていました(使われているのは 4% ほど)。

    画像

    v1.3.133 では、この空き時間に、RAM から VRAM へのエキスパートの移動を流します。CPU レーンがエキスパートを受け取った時点で、受け取った数に合わせた量だけ流します。今までは答えのあとに流していたので、次の層のルートにはみ出していました。

    4K のプロンプト + 512 トークン、iGPU なしの数字です。

    画像

    v1.3.131 → 1.3.132 と 1.3.132 → 1.3.133 は、別の日の計測をつないでいます。DeepSeek V4.1 1017 UD-IQ2_XXS は SSD からの読み出しで速さが決まるので、GPU の側を速くしてもほとんど変わりません。

    小さい GPU でも効くかを、エキスパートの置き場を絞って確かめました。24GB では DeepSeek V4 0731 が +8.1%、GLM-5.3-Flash が +4.0% です。16GB では +0.5% と +2.8% で、ほぼ変わりません。移したいエキスパートを置く枠そのものが足りないからです。

    16GB で Ornith の 128K(v1.3.134、#44)

    画像

    #44 は、sh-Tx2Lym さんの報告です。RX 9070 XT 16GB + RAM 64GB で、32GB + 128GB 向けに作った Ornith-1.5-397B 32G128G を動かしてくれました。Claude Code で使うので、文脈 128K が要るそうです。

    そのままでは、128K で起動しませんでした。報告者は dense の部分を自分で IQ4_XS に量子化し直して VRAM を空け、128K で 18.9〜19.6 tok/s を出していました。ただ、元のファイルとの KL が 0.038〜0.046 増えます。品質と引き換えに VRAM を空けた形です。

    報告には、もう 1 つ大事なことが書いてありました。`--kv q4_0` を付けても、KV キャッシュの大きさが変わらない、というのです。調べると、`--kv q4_0` は Qwen3.8 の経路にしかなく、Ornith(qwen35moe)では黙って無視されていました。しかも、起動を断るメッセージは `--kv q4_0` を試すよう案内していました。

    v1.3.134 では、Ornith の attention の K/V キャッシュに 3 つの形を入れました。

    • `q4_0`:アダマール回転のあとに 4 ビット。fp16 の 28%

    • `k8v4`:K を 8 ビット、V を 4 ビット。41%

    • `int8`:8 ビット。53%

    空いた VRAM は、そのままエキスパートの置き場に回ります。RTX 5090 を 16GB に絞り、文脈 128K で試しました。

    • Ornith-1.5-397B 32G128G:fp16 は「81MB 足りない」で起動しません。q4_0 では KV が 4.00 → 1.12GB になり、エキスパートの枠 1,037 個で起動して答えます。

    • Ornith-1.5-122B 24G64G:KV が 3.25 → 0.91GB、エキスパートに使える VRAM が 4.71 → 7.05GB になりました。答えは 26.3 → 34.9 tok/s(+33%)、32K のプロンプトは 746 → 1,654 tok/s(2.2 倍)です。

    品質は、Ornith-1.5-122B で fp16 との KL を測りました。英語の 8K の文脈のあとで、q4_0 が 0.019(1 位のトークンが同じ割合 93.9%)、コードの 32K のあとで 0.007(98.8%)です。int8 は 0.008 と 0.003 です。dense を IQ4_XS にするより、損は小さく済みます。日本語の文脈での KL は、まだ測っていません。

    <!-- TODO:日本語の文脈での KL(q4_0 / k8v4 / int8)が出たら、ここに 1 文足す -->

    32GB のカードでは、答えの速さは fp16 と変わりません。プロンプトは 32K〜64K で 5〜9% 遅くなります。VRAM に余裕があるなら fp16 のまま、きついときに `int8`、それでも入らないときに `q4_0`、の順をおすすめします。

    AMD のカードでは、まだ動かしていません。HIP のビルドが通ることだけ確かめています。設定のしかたは、後ろの「自分の PC で試す」に書きました。

    issue からの修正(v1.3.126〜1.3.133)

    報告してくださった方、ありがとうございます。

    • #42 (hondaru さん):AI PRO R9700 で、Qwen3.8 + MTP が 87 → 62 tok/s に落ちていました。v1.3.125 で検証窓の計算を厳密にしたとき、HIP だけ、窓の列ごとに約 4GB の重みを読み直していました。v1.3.131 で HIP を前の計算に戻し、報告者の PC で 88.2 tok/s に戻ったことを確かめてもらいました。

    • #43 (tim6300243 さん):Windows + RX 9060 XT で、HIP のビルドが通りませんでした。Visual Studio の MSVC 14.51 と、ROCm SDK 7.14.1 の Clang 23 のヘッダーがぶつかっていました。LLVM ではもう直っていますが、Windows 用の SDK にはまだ入っていません。v1.3.131 のセットアップが、同じ 1 行の直しを SDK のヘッダーに当てます。こちらに Windows + AMD の機械がないので、報告者の確認を待っています。

    • v1.3.132 の Windows:CUDA のビルドが通らなくなっていました。新しく読むようにした `<cooperative_groups.h>` が、MSVC の古いプリプロセッサで止まっていました。出したあとに CI の赤で気づき、約 3 時間後の v1.3.133 で直しました。

    • #39 (LarsDrakblod さん):RTX 4090 + RAM 96GB の詳しい報告です。`--vram-reserve-mib` が Qwen3.8 などで効いていなかったのを v1.3.130 で直しました。`./abyss.sh --calibrate` で +12%、温度 0 でドラフターの受理が 76 → 86% になることも、説明書に入れました。

    • #40 (joleger-cmd さん):RTX 5060 Ti を 2 枚。sm_120 のビルドには `120a` が要ることを説明書に書き、`--bench` が自前の GLM-5.3-Flash の GGUF の KL も出せるようにしました。

    • #41 (gyroid-eth さん):Anthropic の `/v1/messages` で、`tool_result` の中の画像がモデルに届いていませんでした。直し方まで添えてもらい、v1.3.126 で入れました。

    v1.3.100〜1.3.122 のそのほか

    ほかの記事に書いたものは、そちらに譲ります。DGX Spark の対応は「DGX Spark を 1 日借りてみた」から 3 本、`--bench` と `--check` の読み方は「自分の PC のどこが遅いかを測る」、Monitor のボトルネック表示は「『どこが遅いのか』が一目でわかる」に書きました。

    それ以外の大きなものです。

    • 自前の GGUF を 1 行で入れる(v1.3.100、v1.3.121):README の最初に、GPU と RAM の大きさで選ぶ表を置きました。

    • NVFP4(v1.3.101):NVIDIA の FP4 のチェックポイントが動きます。magnitudedev の Qwen3.8-Flash-Next NVFP4 で、32K のプロンプトが 2,515 tok/s です。

    • Qwen3.8 を GPU 2 枚に分ける(v1.3.109〜1.3.110、#35、ベータ):tjm8874 さんに 2 枚で測ってもらいました。

    • `./abyss.sh --check`(v1.3.112):ドラフター、日本語、コード、tool call、64K までの針探し、11 往復の会話を、15〜30 分で確かめます。

    • unsloth の UD 3.1 の Qwen3.8 が全部動く(v1.3.112〜1.3.115):UD-IQ1_S から UD-IQ4_XS まで。KL は llama.cpp と 0.001 以内です。

    • Ornith-1.5-397B(v1.3.122〜1.3.123):1 トークンに 10 個のエキスパートを使うモデルです。RTX 5090 + RAM 128GB で 42.0 tok/s。自前の IQ2_XXS を Hugging Face に置きました。

    • DFlash 2 ドラフター(v1.3.125〜1.3.126、選んだときだけ):Qwen3.8 16G64G のコードで 165.1 tok/s(MTP は 153.5)。日本語の文章では MTP のほうが速いので、既定は MTP のままです。

    • 考える部分の不具合(v1.3.106、v1.3.108、v1.3.116、#33、#36):空の答え、`max_tokens` が小さいと考えずに答える、考えの続きが英語で答えに漏れる、の 3 つを直しました。

    • RAM 100GiB 以上の PC で RAM 層を広く(v1.3.130):上限を「RAM − 24GB」にしました。DeepSeek V4.1 UD-IQ2_XXS で 30.2 → 34.5 tok/s です(v1.3.130 の確認のための計測で、上の表とは測り方が違います。21.6 とは比べられません)。

    自分の PC で試す

    更新は、Abyss-tools の `abyss.sh` でできます。

    cd ~/llm/apps/Abyss-tools
    ./abyss.sh stop
    ./abyss.sh update
    ./abyss.sh start

    変更ごとのオン・オフを比べる

    計測は、どれも `./abyss.sh --bench` でできます。Abyss を止めてから流してください。たとえば PDL のオン・オフなら、次のとおりです。

    cd ~/llm/apps/Abyss
    ./abyss.sh stop
    STRATA_GLM_PDL=0 ./abyss.sh --bench --plain
    ./abyss.sh --bench --plain

    減衰カウント(最近使ったエキスパートを残す数え方)を前に戻すなら `STRATA_GLM_BG_DECAY=0`、v1.3.133 のリンクの空き時間を止めるなら `STRATA_GLM_BG_LANE=0` を付けます。設定ファイルの `"env"` に同じ名前があるときは、そちらを消してから比べてください。1 回ずつだと揺れるので、オン・オフを交互に 3 回ずつ流して中央値で比べています。

    エキスパートの置き場を 16GB や 24GB に絞った結果を見たいときは、`STRATA_GLM_VRAM_GB` を付けます。

    cd ~/llm/apps/Abyss
    STRATA_GLM_VRAM_GB=16 ./abyss.sh --bench --plain
    STRATA_GLM_VRAM_GB=24 ./abyss.sh --bench --plain

    答えが同じかを確かめるには、決定論モード(`STRATA_DETERMINISTIC=1`)で同じ質問を 2 回流し、出力を比べます。`./abyss.sh --bench` の「ドラフターチェック」も、ドラフターありとなしの答えがどこで分かれるかを出します。

    Ornith で `--kv q4_0` を使う

    設定ファイルの `args` に足します。`./setup-deepseek.sh --model ornith --quant 32G128G` で入れた Ornith-1.5-397B なら、設定は `abyss-ornith-32g128g.json` です。

    cd ~/llm/apps/Abyss
    cp abyss-ornith-32g128g.json abyss-ornith-32g128g.json.bak
    python3 - <<'EOF'
    import json, pathlib
    p = pathlib.Path("abyss-ornith-32g128g.json")
    c = json.loads(p.read_text())
    if "--kv" not in c["args"]:
        c["args"] += ["--kv", "q4_0"]
    p.write_text(json.dumps(c, indent=1, ensure_ascii=False))
    print(c["args"])
    EOF
    ./abyss.sh --config abyss-ornith-32g128g.json --bench --plain

    起動のログに、KV キャッシュの大きさとエキスパートの枠の数が出ます。fp16 のときと比べてみてください。`q4_0` の代わりに `int8` や `k8v4` も使えます。

    まとめと、次にやること

    • Qwen3.8-Flash-Next は、1 日で 1.5 倍になりました。Basalt の 6〜7 割まで来ています。

    • GLM-5.3-Flash と DeepSeek V4 / V4.1 も、1 割ほど速くなりました。どれも答えは同じです。

    • Ornith は、16GB のカードでも 128K で動きます。

    次は、Qwen3.8 の残りの差(CPU レーンを待つ時間と、検証窓 1 回で進むトークンの数)を詰めます。GLM-5.3-Flash と DeepSeek では、リンクの空き時間の使い方を 24GB・16GB のカードでも効く形にします。AMD は、R9700 を挿したときに今回の変更をまとめて測ります。

    みなさんの PC では、GPU の中と外、どちらが詰まっていますか? `./abyss.sh --bench --deep` の最後の行に、何が 1 トークンを遅らせているかが出ます。RTX 5090 以外の GPU、16GB や 24GB のカード、PCIe x8 / x16 のスロットでの結果を issue に貼ってもらえると、とても助かります。512 KiB の刻みは Gen4 x4 の外付けで決めた値なので、ほかのリンクの数字があると見直せます。

    仕組みの話は別の記事に

    差の場所を nsys でどう見つけたか、PDL がなぜ前は効かず今回は効いたか、つなぎ目の手がなぜ全部外れたか、512 KiB と減衰カウントの決め方、毎回同じ答えにする固定小数点の和は、別の記事に書きました。結論だけ先に書くと、PDL のあとは、カーネルのつなぎ目ではなく、「何をいつ PCIe に流すか」と「どのエキスパートを VRAM に残すか」で速さが決まっていました。

    ※数字は、特に書いていないものはうちの環境で、2026 年 11 月 2 日〜12 日に測ったものです。GPU は NVIDIA GeForce RTX 5090(32GB)で、OCuLink(PCIe Gen4 x4)で接続しています。CPU は Ryzen AI Max+ 395 のミニ PC、RAM は 123GB 使えます(11 月 8 日に BIOS で iGPU の割り当てを減らしました)。iGPU レーンは使っていません(`STRATA_GLM_IGPU=0`)。SSD は Lexar NM790 4TB です。速さは、4K のプロンプトのあと 512 トークン、温度 0、前後の版を交互に 3 回ずつ動かした中央値です。Basalt は v0.3.2+84 を手元でビルドしたもので、v1.3.130 と同じ日に同じ条件で測りました。16GB の数字は、RTX 5090 に `STRATA_GLM_VRAM_GB=16` で置き場を絞って再現したものです。#42 と #44 の数字は、それぞれの報告者の環境(#42:AI PRO R9700 32GB、#44:RX 9070 XT 16GB + RAM 64GB)です。AMD のカードは、この期間は挿していません。

    #ローカルLLM #Abyss #DeepSeek #GLM #Qwen3 #Ornith #MoE #RTX5090 #CUDA #OSS

     
     
    生成AIとローカルLLMの実機検証、自作プログラムの公開に加え、セキュリティと時事ネタの解説も書いています。セキュリティ関連ニュース、生成AI関連、モデル検証。ニュースの数字の裏側を、手元で確かめた結果と一緒に残します。

    あなたへのおすすめ