
【ローカルLLM Strata最適化】GLM-5.3 のルーター bias を 24KB 書き換えたら、SSD 読み出しが半分以下になった
自宅の PC(Radeon RX 7800 XT ×2)で、ローカル LLM サーバーの Strata を使って GLM-5.3-Flash(Maya-XS 量子化版)を動かしています。ただ、素の状態では、この PC のスペックで十分な速さが出ませんでした。VRAM に収まりきらないエキスパートを RAM や SSD から読み出しながら動くため、1 token ごとに SSD を 20 回以上読みに行き、生成は 17〜18 tok/s ほどでした。どのエキスパートを VRAM や RAM に置いておくかを実際の作業に合わせて作り直すと、SSD の読み出しは 9 回/token 前後まで減りましたが、それでも生成時間の 2 割ほどは SSD の待ちでした。
そんな中で、X で次の記事を見つけました。MIT CSAIL の研究者による「Sparks of Weight-Space Programming」です。
要約すると、クラウドで動くフロンティアモデルにローカル LLM の重みを読ませ、重みを直接書き換えて出力を良くできる、という内容です。学習(勾配)は使わず、モデルが何を計算しているかを重みから読み解いて書き換えます。たとえば、答えの途中で同じ内容を繰り返してしまう Qwen3.5-0.8B の重みを書き換えた例では、MATH-500 の正答率が 7.9% から 48.1% に上がっています。
ここからは、それを GLM-5.3 で実際にやってみた記録です。クラウドのフロンティアモデルには Anthropic の Claude(Claude Code、Opus 5.5)を使い、重みの読み取りから書き換え、計測までを任せました。本番の環境に入れるかどうかは、結果を見てから決めています。
Weight-Space Programming の手順にならって、まず伸びしろを見積もると、エキスパートの置き場所を工夫するだけでは頭打ちだと分かりました。そこでルーターの重みそのものを読んでいくと、エキスパートを選ぶための bias が、モデルの変換時に BF16 に丸められて潰れていたことが見つかりました。その精度を元に戻し、さらに読み込み済みのエキスパートへ少しだけ傾けたところ、SSD からの読み出しが半分以下になりました。以下、変更前後のログを比べて、何を変えたのか、出力がどう変わったのかをまとめます。
この記事の要点
書き換えたのは、モデルの中の「選択用 bias」42 層分、24,192 バイトだけです。エキスパートの重みや量子化には触れていません。
同じ入力で比べると、読み込み直後のターンの SSD 読み出しが 13.8 → 5.7 回/token(−59%)と 12.0 → 5.2 回/token(−57%)に減り、生成速度は 15〜19% 速くなりました。
実際の作業 65 回分のログでも、SSD 読み出しは 9.3 → 4.1 回/token に減りました。
品質は採点で −0.0004 ± 0.0065 nats/token(37 題)と揺れの範囲で、日本語の返答やツール呼び出しも崩れていません。
背景:エキスパートは VRAM・RAM・SSD に分けて置かれている
GLM-5.3-Flash は Mixture-of-Experts(MoE)のモデルです。層 3〜44 の 42 層それぞれに 288 個の「エキスパート」と呼ばれる小さなネットワークがあり、トークンごとにルーターが 8 個を選んで計算します。
量子化してもエキスパート全体は GPU 2 枚の VRAM に収まらないので、推論エンジンの Maya はエキスパートを 3 段に分けて置きます。
VRAM:GPU がそのまま計算します。いちばん速い置き場所です。
RAM(30 GiB の枠):CPU が並列に計算するか、PCIe で GPU に送ります。生成中の待ちはほとんど出ません。
SSD のみ:選ばれるたびに SSD から読み出します。生成の待ちの主な原因です。
この構成では、前半の層 3〜14 を受け持つ 1 枚目の GPU は全エキスパートが VRAM か RAM に収まっていて、SSD からの読み出しは後半の層を受け持つ 2 枚目でだけ起きます。後半の層では、1 層 288 個のうち 182〜210 個が読み込み直後から VRAM か RAM にいて、残りの 78〜106 個は SSD にしかありません。どれを VRAM と RAM に置くかは、実際の作業ログから日本語・コード・ツール呼び出しに重みを置いて作った「常駐順位」で決めています。
ルーターの計算は次のとおりです。
sel[e] = sigmoid(logit[e]) + bias[e] # 選択用。この値の上位 8 個を選ぶ
w[e] = sigmoid(logit[e]) # 混ぜる重み。bias を含まないbias が効くのは「どのエキスパートを選ぶか」だけで、選んだエキスパートの出力をどれだけ混ぜるかには効きません。
もう一つの前提は、選択の揺れです。同じ入力を 2 回処理しても、選ばれる 8 個の一致は 85% ほどです。後半の層では選択の 21% が実行ごとに入れ替わり、SSD にしかないエキスパートへの選択も 25% が入れ替わります。しかも、その入れ替わり先の 67% は VRAM か RAM のエキスパートでした。モデルにとってほぼ同点の候補が多い、ということです。
見つけた問題:BF16 で潰れていた bias
Maya の変換ツール(tools/iq_pack.py --compat-bf16)は、元の GGUF では F32 で入っている exp_probs_b.bias を、BF16 にして書き出していました。
この bias は層ごとに大きな共通の値(層 5 の 5.29 から層 44 の 14.45)を持っていて、意味のある差は層の中の標準偏差で 0.039〜0.095 しかありません。BF16 の有効桁は 2 進で 8 桁しかないので、4〜8 の値は 0.031 刻み、8〜16 の値は 0.0625 刻みでしか表せません。
その結果、1 層 288 個の bias が 6〜11 種類の値に潰れていました。誤差の最大は層 3〜11 で 0.016、層 12〜44 で 0.031 です。層 34 では、誤差の大きさが層の中の差(標準偏差)の 46% に達していました。図 1 がその層 34 です。本来は細かく散らばっている値のうち 251 個が、BF16 ではたった 2 つの値にまとめられています。

変換で F32 から BF16 にされたほかのテンソルは、もともと BF16 で表せる値で誤差が 0 か、大きいものでも 1.5% でした。精度を落としていたのは bias だけです。
書き換えたこと
書き換えは 2 段です。どちらも、モデルファイルのうち bias の部分(42 層 × 288 個の BF16、計 24,192 バイト)だけを書き換えます。
1. 層平均を引いて精度を戻す
各層の bias を「元の F32 の値 − その層の平均」にしてから BF16 で書きます。値が 0 の近くに集まるので BF16 の刻みが細かくなり、誤差の最大は 0.00098 まで下がります。層の中のすべての bias から同じ値を引いても上位 8 個の顔ぶれは変わらないので、選択は元の F32 のモデルと数学的に同じになります。この段だけなら、モデルの計算を作者の意図どおりに戻す修正です。
2. 読み込み済みのエキスパートへ +0.08 傾ける
そのうえで、読み込み直後に VRAM か RAM にいるエキスパートの bias に +0.08 を足します。対象は後半の層 15〜44 で、1 層あたり 182〜210 個、計 5,931 個です。前半の層は全エキスパートが VRAM か RAM にいるので、傾けていません。
+0.08 は、後半の層の中の標準偏差(0.05〜0.10)と同じくらいの大きさです。ほぼ同点の候補どうしでは読み込み済みの側が選ばれやすくなり、はっきり差のある選択はそのまま残る、という狙いです。量は 0.02・0.04・0.08・0.16 を試し、同じ量を無作為なエキスパートに足す対照と比べて決めました(図 4)。
変えていないものは次のとおりです。
元の GGUF ファイル
エキスパートの重み・量子化・数
ルーターの行列
常駐順位と設定
書き換えは専用のスクリプトで行います。書き換え前か書き換え後のどちらかの状態であることと、ファイルのハッシュを確かめてから書くので、想定外の状態のファイルには手を付けません。元に戻すこともできます。
比べ方
次の 3 つのログで比べました。
採点ログ:正解の文章をモデルに読ませ、生成と同じ 1 token ずつの経路で、次の token を当てる確率(対数確率)を測りました。量を決めるのに使った題材 A(14 題、2,605 token)と、決めるのに使っていない題材 B(23 題、4,070 token)があります。
同じ入力の A/B:実際の 2 つの会話(パッケージ確認 4 ターン、JSON 修正の依頼 5 ターン)を、入力とツール定義をそのままにサーバーで再生しました。各ターン最大 256 token を貪欲生成し、変更前と変更後を交互に 2 巡ずつ走らせています。
実際の作業のログ:エンジンのログ、サーバーの完了ログ、会話の記録を要求ごとに突き合わせました。変更前は同じ日の未明の 14 要求、変更後は昼の 65 要求です。常駐順位はどちらも同じです。
実際の作業のログは、作業の中身も文脈の長さも揃っていません。そこで、変更の効果は A/B で判断し、実際の作業のログは「普段の使い方でも同じ方向に出るか」の確認に使いました。
結果 1:SSD の読み出しが半分以下に
同じ入力の A/B
同じ入力を再生した A/B では、すべてのターンで SSD の読み出しが減りました(図 2)。

パッケージ確認:1 ターン目の SSD 読み出しは 13.8 → 5.7 回/token、生成速度は 20.4 → 24.2 tok/s。全ターンでは 1 token あたり 48.7 → 42.5 ms(−13%)
JSON 修正の依頼:1 ターン目は 12.0 → 5.2 回/token、22.1 → 25.3 tok/s。全ターンでは 53.3 → 43.6 ms(−18%)
実際の作業のログ
実際の作業でも、SSD の読み出しは 9.34 → 4.06 回/token に減り、1 token あたりの SSD 待ちは 10.4 → 5.0 ms になりました(図 3)。VRAM の命中率は 76.5% → 75.2% とほぼ同じで、RAM からの取得が 49.6 → 56.4 回/token に増えています。減った SSD の読み出しが、RAM のエキスパートへ移った形です。

生成速度は文脈の長さにも左右されます。変更後の会話は文脈が 1.9 万〜9.2 万 token と、変更前(0.9 万〜3.0 万)よりずっと長くなりましたが、それでも平均の生成速度は 21.6 → 22.4 tok/s に上がっています。文脈が同じ 1.5 万〜3.2 万 token の要求だけで比べると、SSD の読み出しは 9.34 → 3.65 回/token(−61%)、生成は 21.6 → 22.6 tok/s(+5%)です。この区間の変更後には、裏で動いていたシステムのビルドと重なったターンも含まれています。
前日の夜からの 89 要求に「1 token の時間 = a + b × SSD 待ち + c × 文脈の長さ」を当てはめると、SSD 待ち 1 ms が 0.85 ms の遅れに当たりました。同じ文脈の長さなら、SSD 待ちの減少(約 5.4 ms)は 1 token あたり約 4.6 ms、およそ 10% の短縮です。A/B の −13〜18% と同じ向きです。
参考までに、実際の作業のログでの推移です。作業内容も文脈の長さも毎回違うので目安です。
素の状態(Maya に同梱の常駐順位):SSD 20〜24 回/token、生成 16.7〜18.0 tok/s
前日に作った常駐順位:SSD 10〜16 回/token、生成 19.5〜21.3 tok/s
今の常駐順位:SSD 9.3 回/token、生成 21.6 tok/s
今の常駐順位 + 今回の書き換え:SSD 3.8〜4.3 回/token、生成 21.4〜23.5 tok/s
結果 2:出力はどう変わったか
品質:採点では差が出ない
採点で、変更後と変更前の対数確率を 1 token あたりで比べました(変更後 − 変更前、各版 2 回の平均どうし、± は標準誤差)。
全 37 題:−0.0004 ± 0.0065 nats/token
題材 A(量の選定に使用):−0.014 ± 0.006
題材 B(選定に使っていない):+0.008 ± 0.009
分類別(37 題):日本語 +0.021 ± 0.012、コード −0.013 ± 0.008、モデル自身が書いた文 −0.013 ± 0.005
同じ版を 2 回走らせたときの差が ±0.005〜0.010 なので、全体では区別できません。モデル自身が書いた文は変更前のモデルの出力なので、もともと変更前に有利な題材です。ただ、題材 A だけを見ると小さな低下があるので、完全に無害とまでは言えません。
傾ける量を変えた試験(図 4)では、+0.08 までは品質が揺れの範囲に収まり、+0.16 で下がり始めました。同じ +0.08 を無作為なエキスパートに足すと、品質は −0.022 下がり、SSD の読み出しも減りません。効果を生んでいるのは足す先の選び方で、量だけ足しても速くはなりません。

なお、平均を引いただけの版は、品質は同じでも、SSD にしかないエキスパートを選ぶ割合が 13.9% → 16.4% に増えました。常駐順位が、丸めた bias での選び方に合わせて作られていたためです。
日本語で書き始める傾向は変わらない
実際のログから、思考を終えて日本語の返答を書き始めた 12 か所を取り出し、同じ文脈で日本語の書き出しと英語の書き出し("I'll start by checking")のどちらが選ばれやすいかを比べました。4 回の実行すべてで、12 か所とも日本語が 9〜23 nats 優位でした。変更後は日本語の優位が +0.61 ± 0.50 nats 広がりましたが、同じ版を 2 回走らせても 0.24〜0.27 nats 動くので、傾向は変わっていないと見ています。
文面の違い(A/B)
A/B の再生は貪欲生成ですが、選択の揺れがあるので、同じ版でも出力は少しずつ分かれます。そのうえで変更前後を並べると、違いは言い回しと、1 ターンにまとめる作業の量に出ました。ツール呼び出し(read・shell・grep・glob・edit)は、どちらの版でも全ターンで正しい形でした。
JSON 修正の 3 ターン目は、変更前が 4 か所の編集を 1 つずつ進めたのに対して、変更後は 2 巡目で 2 つの編集を 1 ターンにまとめ、上限の 256 token に達しました。最初の編集の中身は同じです。
変更前:
STEP2.md の 4 つの箇所を順に編集します。
変更後:
STEP2.md の手順に従って、glm-family.py の _JsonOnly、validate、formatted、docstring を編集します。
パッケージ確認の 1 ターン目では、変更後の 1 巡目だけ前置きが英語になりました。
変更前:
まず /etc/nixos の README でパッケージ更新の正しい手順を確認します。
変更後(1 巡目):
I'll start by checking the README to understand the update workflow, then run the update commands.
変更後(2 巡目):
まず README.md の「変更対象別・担当ファイル早見表」と update.sh の使い方を確認します。
返答本文 14 回のうち日本語だったのは、変更前が 14 回、変更後が 13 回です。日本語の書き出しの採点では傾向が変わっていないので、出力が途中で分かれた偶然と見ています。ほかのターンでは、JSON 修正の 4・5 ターン目は 4 回とも同じ編集で、違いは見出しの言い回しだけでした。パッケージ確認の 2 ターン目は、4 回とも antigravity-cli の更新(1.4.12 → 1.5.0)を正しく報告しています。
実際の作業での出力
実際の作業でも、変更前と変更後に同じ種類の依頼(システムのパッケージ更新)を出していました。
依頼文:変更前は「このシステムのパッケージに更新があれば適用してください」、変更後は「システムに含まれるパッケージの更新を確認し、更新がある場合は更新してください」
返答本文の言語:変更前 4/4、変更後 18/18 が日本語
ツール呼び出し:変更前 4 件、変更後 65 件で、すべて正常に完了
結末:変更前は、独自パッケージ 6 件が最新と確認して「適用すべき更新はありません」と報告しました。変更後はシステム全体の更新まで進め、ビルドが上流のハッシュ不一致で失敗すると、上流の報告と修正を探し当て、修正後のハッシュが手元のビルド結果と一致することまで確かめました。そのうえで更新を戻し、ビルドが通ることを確認して報告しています。
返答の言語とツール呼び出しには崩れがありません。作業範囲の違いは、依頼文の違いと温度 0.7 のサンプリングでも起こりうるので、1 組の会話からは書き換えの影響とは言えません。
注意点
傾けた先は、今の常駐順位と、この PC の構成(GPU 2 枚、RAM の枠 30 GiB、層の分け方)での読み込み直後の配置です。順位や構成を変えたら、この値も作り直す必要があります。
GPU 1 枚だけで動かす構成での効果は測っていません。
実際の作業のログは条件が揃っていません。速度の効果は A/B の結果で見てください。
変換ツールの BF16 の問題は、Maya の開発元に issue #861 で報告しました。報告したのは精度の問題と修正案だけで、傾ける編集は含めていません。
まとめ
Weight-Space Programming の手順で、クラウドのフロンティアモデル(Claude)に GLM-5.3 の重みを読ませたところ、変換時に BF16 に丸められて潰れていたルーターの選択用 bias が見つかりました。
その bias を、層平均を引いて F32 の精度に戻しました。
そのうえで読み込み済みのエキスパートへ +0.08 傾けると、SSD の読み出しが半分以下になり、読み込み直後のターンの生成が 15〜19% 速くなりました。
採点・日本語の書き出し・ツール呼び出しのどれでも、品質の低下ははっきりとは見えませんでした。ただし題材によっては小さな低下の兆しもあるので、引き続き様子を見ます。
素の状態と比べると、SSD の読み出しは 20〜24 回/token から 4 回/token 前後に、生成は 17〜18 tok/s から 21〜23 tok/s になりました(置き場所の作り直しと合わせた効果で、作業内容が違うので目安です)。
動かした環境
モデル:GLM-5.3-Flash Maya-XS(IQ1_S)
推論エンジン:Maya 1.1.52(HIP)
サーバー:Strata 0.2.10
GPU:Radeon RX 7800 XT ×2
RAM の枠:30 GiB
OS:NixOS
重みの読み取り・書き換え・計測:Claude(Claude Code、Opus 5.5)