
125BのMoEをGPU1枚+RAMで動かす「Strata」を入れて2日触った記録
Qwen3.8-Flash-Next は125Bパラメータの MoE モデルです。これを GPU 1枚とメインメモリで動かす Strata というエンジンを、昨日から自宅の PC に入れて使っています。セットアップ、起動テスト、アップデートの落とし穴、コーディングベンチの計測まで一通りやったので、手順とハマった点をまとめておきます。
Strata は GitHub で公開されているオープンソースのプロジェクトです(Niko1221/Strata)。ライセンスは MIT です。私が git log で見た限り最初のコミットは9月24日で、この1週間でコミットは230件を超えました。私が触った2日間だけでもエンジンは 0.1.24 から 0.1.27 まで上がりました。動きの速いプロジェクトなので、ここに書く内容も数日で古くなるかもしれません。
Strata は何をするものか
README の売り文句は「普通のゲーミング PC で125Bのモデルを動かす」です。前提は NVIDIA のカード1枚(12〜24GB)と64GBの RAM で、Windows と Linux に対応しています。対応カードは RTX 30・40・50 シリーズで、VRAM は最低12GBです。README には作者が RTX 5070(12GB)で測った値が載っていて、短い会話なら量子化ごとに毎秒53〜93トークン(IQ3_S が53、Q2_0 が93)、128K の長い文脈では46〜74トークンです。
仕組みはこうです。MoE モデルはトークンごとに一部のエキスパートしか使いません。Strata はよく使うエキスパートを GPU に置き、残りを RAM から都度読みます。汎用の推論エンジンではなく、Qwen3.8-Flash-Next のアーキテクチャ専用に CUDA カーネルを書き起こしているのが特徴です。後で書きますが、この「専用」という点が効いてきます。

うちの環境
GPU は RTX 5090(32GB)、CPU は Ryzen AI MAX+ 395、RAM は約128GB(GPUに32GB割当)です。OS は Linux です。32GB は README が想定する12〜24GBより大きい環境です。量子化は IQ3_S(ダウンロード84GB、RAM 使用は約50GB)を選び、コンテキストは128Kにしました。README 上の IQ3_S の RAM 要件は合計54.8GBです。
ひとつ癖があって、この環境では 5090 の PCIe 帯域が 7.2GB/s しか出ていません。x4 相当の接続です。RAM から GPU へエキスパートを流すエンジンにとっては不利な条件なので、数字はその前提で見てください。
セットアップは venv に閉じ込めた
ほかの環境を汚したくなかったので、システムの Python や apt には一切触らない方針にしました。もっとも、Strata の setup.sh は最初からリポジトリ内に .venv を作ってその中で完結するので、特別なことはしていません。エンジンを自前でビルドする --build を付けたときだけ sudo apt で CUDA Toolkit などを入れに行くので、そこだけ注意です。
実際に打ったのはこの2行です。
./setup.sh --check
./setup.sh --family qwen --model IQ3_S --vision no --port 8082 --yes --no-start--check で GPU・RAM・CPU を確認し、2行目で非対話のまま最後まで進めます。パッケージのインストール、ビルド済みエンジンの取得、84GB のモデルのダウンロードとパック変換、投機的デコード用のドラフト層(MTP)の生成が順に走ります。うちの回線では全部で2時間15分ほどかかり、最後に「All set.」と出て終わりました。
置き場所はこう分かれます。本体のリポジトリの中に .venv(205MB)とエンジン、隣の Strata-data フォルダにモデル一式(86GB)です。アンインストールはこの2か所を消すだけで済みます。
8080番がふさがっていた
起動テストで最初につまずいたのはポートでした。Strata の既定は8080番ですが、うちでは Docker で動かしている SearXNG がすでに使っていました。8081番も別のサービスが使っていたので、8082番に逃がしています。
ポートを変えるときは、setup.sh に --setup と --port を付けて設定を作り直します。ダウンロード済みのモデルは再利用されるので、数十秒で終わります。
起動テストの結果
起動は run-iq3_s.sh を叩くだけです。約47GiBのエキスパートを RAM に読み込むのに1分ほどかかり、そのあとブラウザでチャット画面が開きます。
確認したのは次の4つで、全部通りました。
OpenAI 互換 API(/v1/chat/completions)
Anthropic 互換 API(/v1/messages、thinking ブロックも返る)
付属のターミナル用チャット chat.py
Web UI
速度は、400トークンのコード生成で毎秒114トークンでした。MTP のドラフトは333個中236個が採用されています。短い質問なら0.4秒で返ってきます。
代わりにリソースはほぼ使い切ります。VRAM は32GB中31.2GBが埋まり、RAM は56GBを使いました。起動中は、ほかの GPU アプリとは同時に動かせないと思ったほうがいいです。
いつものツールからつなぐ
OpenAI 互換なので、Open WebUI や Continue、Cline などは Base URL に http://127.0.0.1:8082/v1 を入れれば動きます。API キーもモデル名も何でも通ります。
Claude Code からも使えます。環境変数で向き先を変えるだけです。
ANTHROPIC_BASE_URL=http://127.0.0.1:8082 \
ANTHROPIC_AUTH_TOKEN=dummy \
ANTHROPIC_MODEL=claude-sonnet-5-5 \
claudeモデル名に実在する Claude のモデル名を入れているのは、Claude Code が知らない名前を受け付けないからです。Strata 側はこの名前を見ていません。
別の PC やスマホからつなぐなら、--host 0.0.0.0 と --api-key を付けて設定を作り直します。API キーは必ず付けてください。付けないと、同じネットワークにいる誰でもこちらの GPU を使えてしまいます。リクエストは1件ずつ順番に処理されるので、何台もぶら下げると待ち行列になります。
git pull しただけでは速くならない
2日目に一番「なるほど」と思ったのがここです。
Strata は毎日のように高速化が入るので、git pull して新しくしたくなります。ところが、pull したあと run-iq3_s.sh で起動しても、エンジンは古いままです。
setup.py を読んで理由が分かりました。run-iq3_s.sh の中身は、サーバーの Python スクリプトを直接起動する1行だけです。エンジンの更新(配布版なら新しいリリースの取得、手元ビルドなら差分の再コンパイル)をするのは、setup.sh の通常起動だけでした。
実際、確認した時点でソースは 0.1.26 なのに、動いていたエンジンは 0.1.24 のままでした。0.1.25 と 0.1.26 に入ったプロンプト処理の高速化を、丸ごと取りこぼしていたことになります。
なので更新の手順はこうなります。
# サーバーを止めてから
git pull
./setup.sh一度 setup.sh を通してエンジンを更新すれば、それ以降は run スクリプトから起動しても新しいエンジンが動きます。run スクリプト自体には絶対パスとポートしか書かれていないので、作り直す必要はありません。

もうひとつ細かい話があります。setup.py は、llama.cpp のフォルダが存在するかどうかしか見ていません。固定している llama.cpp のコミットが将来変わっても、pull しただけでは古いソースのままビルドされてしまいます。そうなったら third_party/llama.cpp を消して取り直すのが確実です。
自分用の運用スクリプトを別フォルダに作った
手順を覚えておく自信がないので、運用スクリプトを書きました。Strata のリポジトリには何も足さず、隣に Strata-tools というフォルダを切っています。本体を汚すと pull のたびに衝突するからです。
コマンドは strata.sh ひとつにまとめました。start、stop、restart、status、update、log の6つです。
start は、必要ならエンジンを更新してから、バックグラウンドで起動し「ready」が出るまで待つ
stop は、まず SIGINT(Ctrl+C と同じ)を送る
update は、git pull のあとエンジンだけ更新し、起動はしない
stop で最初に SIGTERM を使わないのには理由があります。サーバーのコードを読むと、Ctrl+C を受けたときだけエンジンや MCP サーバーに終了の合図を送って片付けていました。SIGTERM だとこの後片付けが走りません。30秒待っても止まらなければ SIGTERM、さらに10秒で SIGKILL を送ります。
update にはいくつか安全装置を入れました。サーバーが起動中なら pull しない。llama.cpp の固定コミットが変わっていたら、フォルダを消して取り直させる。Python パッケージや設定項目が増えていたら「--setup が必要かも」と知らせる。この3つです。
実際にこれで 0.1.24 から 0.1.27 に上げました。起動ログに「engine 0.1.27」と出るのを確認しています。
コーディングベンチで測ってみた
自作の llmbench(SWE-bench 風の自前タスクを解かせるツール)に Strata をつないで測りました。リクエストは1件ずつしか処理されないので、並列度は1です。
最初の結果には、正直少しがっかりしました。基本〜応用の60問を各5回で Resolved 90.0%、難しめの16問(L7)を各3回で56.2%です。
失敗したログを見ると、ほとんどが空の出力でした。モデルが考え続けて、ベンチ側で決めていた思考の上限16,384トークンに達し、答えを書く前に打ち切られていたのです。サーバーのログでも、打ち切られた生成はちょうど16,389〜16,392トークンで止まっていました。ループ検知はほとんど発火しておらず、同じことを繰り返していたわけでもありません。まともに長く考えていただけでした。
16,384 という上限は、以前 Qwen3.8 の9Bモデルで決めた値です。125B の MoE には狭すぎました。Strata 側の設定には問題がありませんでした。
上限を32,768に広げ、エンジンも 0.1.27 に上げて測り直した結果がこちらです。
60問×5回: 90.0% → 96.7%(1回で通る期待値は86.3% → 93.4%)
L7の16問×3回: 56.2% → 68.8%

条件を2つ同時に変えているので、どちらがどれだけ効いたかは切り分けられていません。ただ、上限だけを変えた中間のランでもL7は68.8%まで上がっていました。効いたのは主に思考の上限のほうだと見ています。
生成速度は長さでほとんど落ちませんでした。2,000トークン未満で毎秒133、14,000トークン超でも毎秒125です。3万トークン級の思考でも、KV キャッシュの VRAM ヒット率は99.9%台を保っていました。
ひとつ注意があります。llmbench は複数回試行のとき温度を0.35に固定する作りなので、今回の数字は公式推奨の温度1.0ではありません。ほかの環境の数字と並べるときは、その点を割り引いてください。
別のモデルは載らない
最後に、GLM-5.3-Flash も Strata で動かせないか調べてみました。結論は、モデルを1つ追加して済む話ではありませんでした。
Strata のメニューにある Coder などの派生モデルは、どれも Qwen3.8-Flash-Next と同じアーキテクチャです。だから設定の追加だけで載っています。GLM-5.3-Flash は320Bで、アテンションの方式も MoE の構成もトークナイザも別物です。カーネルから作り直すことになり、数週間単位の移植作業になります。
加えて、うちの VRAM と RAM を合わせても約125GBなので、現実に載るのは1bit級の量子化だけです。llama.cpp 側の対応 PR もまだマージ前でした。こちらはいったん保留にしています。
「専用エンジンだから速い」と「専用エンジンだから他のモデルは動かない」は、同じことの裏表なんですよね。
2日触ってみて
125B のモデルが、手元で毎秒120トークン前後で動き、コーディングタスクの96.7%を解く。数年前なら考えられなかった状況です。setup.sh の出来もよく、venv に閉じたまま2時間ほどで動くところまで行けました。
一方で、更新の作法やベンチ側の設定のように、ツールの外側でハマる場所はあります。私は pull のあと run スクリプトで起動し続けて、2バージョン分の高速化を取りこぼしていました。同じことをしている人は、一度 setup.sh を通してみてください。
みなさんは、ローカル LLM の更新をどう回していますか。うちのように運用スクリプトを別に切っている人がいたら、工夫をコメントで教えてもらえるとうれしいです。
※速度やベンチの数字は、うちの環境(RTX 5090 を PCIe x4 相当で接続、RAM 94GB、IQ3_S、128K コンテキスト)で測ったものです。
#ローカルLLM #Strata #Qwen #MoE #RTX5090 #ClaudeCode #llamacpp #LLM #自宅AI #ベンチマーク