メインコンテンツへスキップ
見出し画像

125BのMoEをGPU1枚+RAMで動かす「Strata」を入れて2日触った記録

    Qwen3.8-Flash-Next は125Bパラメータの MoE モデルです。これを GPU 1枚とメインメモリで動かす Strata というエンジンを、昨日から自宅の PC に入れて使っています。セットアップ、起動テスト、アップデートの落とし穴、コーディングベンチの計測まで一通りやったので、手順とハマった点をまとめておきます。

    Strata は GitHub で公開されているオープンソースのプロジェクトです(Niko1221/Strata)。ライセンスは MIT です。私が git log で見た限り最初のコミットは9月24日で、この1週間でコミットは230件を超えました。私が触った2日間だけでもエンジンは 0.1.24 から 0.1.27 まで上がりました。動きの速いプロジェクトなので、ここに書く内容も数日で古くなるかもしれません。

    Strata は何をするものか

    README の売り文句は「普通のゲーミング PC で125Bのモデルを動かす」です。前提は NVIDIA のカード1枚(12〜24GB)と64GBの RAM で、Windows と Linux に対応しています。対応カードは RTX 30・40・50 シリーズで、VRAM は最低12GBです。README には作者が RTX 5070(12GB)で測った値が載っていて、短い会話なら量子化ごとに毎秒53〜93トークン(IQ3_S が53、Q2_0 が93)、128K の長い文脈では46〜74トークンです。

    仕組みはこうです。MoE モデルはトークンごとに一部のエキスパートしか使いません。Strata はよく使うエキスパートを GPU に置き、残りを RAM から都度読みます。汎用の推論エンジンではなく、Qwen3.8-Flash-Next のアーキテクチャ専用に CUDA カーネルを書き起こしているのが特徴です。後で書きますが、この「専用」という点が効いてきます。

    画像

    うちの環境

    GPU は RTX 5090(32GB)、CPU は Ryzen AI MAX+ 395、RAM は約128GB(GPUに32GB割当)です。OS は Linux です。32GB は README が想定する12〜24GBより大きい環境です。量子化は IQ3_S(ダウンロード84GB、RAM 使用は約50GB)を選び、コンテキストは128Kにしました。README 上の IQ3_S の RAM 要件は合計54.8GBです。

    ひとつ癖があって、この環境では 5090 の PCIe 帯域が 7.2GB/s しか出ていません。x4 相当の接続です。RAM から GPU へエキスパートを流すエンジンにとっては不利な条件なので、数字はその前提で見てください。

    セットアップは venv に閉じ込めた

    ほかの環境を汚したくなかったので、システムの Python や apt には一切触らない方針にしました。もっとも、Strata の setup.sh は最初からリポジトリ内に .venv を作ってその中で完結するので、特別なことはしていません。エンジンを自前でビルドする --build を付けたときだけ sudo apt で CUDA Toolkit などを入れに行くので、そこだけ注意です。

    実際に打ったのはこの2行です。

    ./setup.sh --check
    ./setup.sh --family qwen --model IQ3_S --vision no --port 8082 --yes --no-start

    --check で GPU・RAM・CPU を確認し、2行目で非対話のまま最後まで進めます。パッケージのインストール、ビルド済みエンジンの取得、84GB のモデルのダウンロードとパック変換、投機的デコード用のドラフト層(MTP)の生成が順に走ります。うちの回線では全部で2時間15分ほどかかり、最後に「All set.」と出て終わりました。

    置き場所はこう分かれます。本体のリポジトリの中に .venv(205MB)とエンジン、隣の Strata-data フォルダにモデル一式(86GB)です。アンインストールはこの2か所を消すだけで済みます。

    8080番がふさがっていた

    起動テストで最初につまずいたのはポートでした。Strata の既定は8080番ですが、うちでは Docker で動かしている SearXNG がすでに使っていました。8081番も別のサービスが使っていたので、8082番に逃がしています。

    ポートを変えるときは、setup.sh に --setup と --port を付けて設定を作り直します。ダウンロード済みのモデルは再利用されるので、数十秒で終わります。

    起動テストの結果

    起動は run-iq3_s.sh を叩くだけです。約47GiBのエキスパートを RAM に読み込むのに1分ほどかかり、そのあとブラウザでチャット画面が開きます。

    確認したのは次の4つで、全部通りました。

    • OpenAI 互換 API(/v1/chat/completions)

    • Anthropic 互換 API(/v1/messages、thinking ブロックも返る)

    • 付属のターミナル用チャット chat.py

    • Web UI

    速度は、400トークンのコード生成で毎秒114トークンでした。MTP のドラフトは333個中236個が採用されています。短い質問なら0.4秒で返ってきます。

    代わりにリソースはほぼ使い切ります。VRAM は32GB中31.2GBが埋まり、RAM は56GBを使いました。起動中は、ほかの GPU アプリとは同時に動かせないと思ったほうがいいです。

    いつものツールからつなぐ

    OpenAI 互換なので、Open WebUI や Continue、Cline などは Base URL に http://127.0.0.1:8082/v1 を入れれば動きます。API キーもモデル名も何でも通ります。

    Claude Code からも使えます。環境変数で向き先を変えるだけです。

    ANTHROPIC_BASE_URL=http://127.0.0.1:8082 \
    ANTHROPIC_AUTH_TOKEN=dummy \
    ANTHROPIC_MODEL=claude-sonnet-5-5 \
    claude

    モデル名に実在する Claude のモデル名を入れているのは、Claude Code が知らない名前を受け付けないからです。Strata 側はこの名前を見ていません。

    別の PC やスマホからつなぐなら、--host 0.0.0.0 と --api-key を付けて設定を作り直します。API キーは必ず付けてください。付けないと、同じネットワークにいる誰でもこちらの GPU を使えてしまいます。リクエストは1件ずつ順番に処理されるので、何台もぶら下げると待ち行列になります。

    git pull しただけでは速くならない

    2日目に一番「なるほど」と思ったのがここです。

    Strata は毎日のように高速化が入るので、git pull して新しくしたくなります。ところが、pull したあと run-iq3_s.sh で起動しても、エンジンは古いままです。

    setup.py を読んで理由が分かりました。run-iq3_s.sh の中身は、サーバーの Python スクリプトを直接起動する1行だけです。エンジンの更新(配布版なら新しいリリースの取得、手元ビルドなら差分の再コンパイル)をするのは、setup.sh の通常起動だけでした。

    実際、確認した時点でソースは 0.1.26 なのに、動いていたエンジンは 0.1.24 のままでした。0.1.25 と 0.1.26 に入ったプロンプト処理の高速化を、丸ごと取りこぼしていたことになります。

    なので更新の手順はこうなります。

    # サーバーを止めてから
    git pull
    ./setup.sh

    一度 setup.sh を通してエンジンを更新すれば、それ以降は run スクリプトから起動しても新しいエンジンが動きます。run スクリプト自体には絶対パスとポートしか書かれていないので、作り直す必要はありません。

    画像

    もうひとつ細かい話があります。setup.py は、llama.cpp のフォルダが存在するかどうかしか見ていません。固定している llama.cpp のコミットが将来変わっても、pull しただけでは古いソースのままビルドされてしまいます。そうなったら third_party/llama.cpp を消して取り直すのが確実です。

    自分用の運用スクリプトを別フォルダに作った

    手順を覚えておく自信がないので、運用スクリプトを書きました。Strata のリポジトリには何も足さず、隣に Strata-tools というフォルダを切っています。本体を汚すと pull のたびに衝突するからです。

    コマンドは strata.sh ひとつにまとめました。start、stop、restart、status、update、log の6つです。

    • start は、必要ならエンジンを更新してから、バックグラウンドで起動し「ready」が出るまで待つ

    • stop は、まず SIGINT(Ctrl+C と同じ)を送る

    • update は、git pull のあとエンジンだけ更新し、起動はしない

    stop で最初に SIGTERM を使わないのには理由があります。サーバーのコードを読むと、Ctrl+C を受けたときだけエンジンや MCP サーバーに終了の合図を送って片付けていました。SIGTERM だとこの後片付けが走りません。30秒待っても止まらなければ SIGTERM、さらに10秒で SIGKILL を送ります。

    update にはいくつか安全装置を入れました。サーバーが起動中なら pull しない。llama.cpp の固定コミットが変わっていたら、フォルダを消して取り直させる。Python パッケージや設定項目が増えていたら「--setup が必要かも」と知らせる。この3つです。

    実際にこれで 0.1.24 から 0.1.27 に上げました。起動ログに「engine 0.1.27」と出るのを確認しています。

    コーディングベンチで測ってみた

    自作の llmbench(SWE-bench 風の自前タスクを解かせるツール)に Strata をつないで測りました。リクエストは1件ずつしか処理されないので、並列度は1です。

    最初の結果には、正直少しがっかりしました。基本〜応用の60問を各5回で Resolved 90.0%、難しめの16問(L7)を各3回で56.2%です。

    失敗したログを見ると、ほとんどが空の出力でした。モデルが考え続けて、ベンチ側で決めていた思考の上限16,384トークンに達し、答えを書く前に打ち切られていたのです。サーバーのログでも、打ち切られた生成はちょうど16,389〜16,392トークンで止まっていました。ループ検知はほとんど発火しておらず、同じことを繰り返していたわけでもありません。まともに長く考えていただけでした。

    16,384 という上限は、以前 Qwen3.8 の9Bモデルで決めた値です。125B の MoE には狭すぎました。Strata 側の設定には問題がありませんでした。

    上限を32,768に広げ、エンジンも 0.1.27 に上げて測り直した結果がこちらです。

    • 60問×5回: 90.0% → 96.7%(1回で通る期待値は86.3% → 93.4%)

    • L7の16問×3回: 56.2% → 68.8%

    画像

    条件を2つ同時に変えているので、どちらがどれだけ効いたかは切り分けられていません。ただ、上限だけを変えた中間のランでもL7は68.8%まで上がっていました。効いたのは主に思考の上限のほうだと見ています。

    生成速度は長さでほとんど落ちませんでした。2,000トークン未満で毎秒133、14,000トークン超でも毎秒125です。3万トークン級の思考でも、KV キャッシュの VRAM ヒット率は99.9%台を保っていました。

    ひとつ注意があります。llmbench は複数回試行のとき温度を0.35に固定する作りなので、今回の数字は公式推奨の温度1.0ではありません。ほかの環境の数字と並べるときは、その点を割り引いてください。

    別のモデルは載らない

    最後に、GLM-5.3-Flash も Strata で動かせないか調べてみました。結論は、モデルを1つ追加して済む話ではありませんでした。

    Strata のメニューにある Coder などの派生モデルは、どれも Qwen3.8-Flash-Next と同じアーキテクチャです。だから設定の追加だけで載っています。GLM-5.3-Flash は320Bで、アテンションの方式も MoE の構成もトークナイザも別物です。カーネルから作り直すことになり、数週間単位の移植作業になります。

    加えて、うちの VRAM と RAM を合わせても約125GBなので、現実に載るのは1bit級の量子化だけです。llama.cpp 側の対応 PR もまだマージ前でした。こちらはいったん保留にしています。

    「専用エンジンだから速い」と「専用エンジンだから他のモデルは動かない」は、同じことの裏表なんですよね。

    2日触ってみて

    125B のモデルが、手元で毎秒120トークン前後で動き、コーディングタスクの96.7%を解く。数年前なら考えられなかった状況です。setup.sh の出来もよく、venv に閉じたまま2時間ほどで動くところまで行けました。

    一方で、更新の作法やベンチ側の設定のように、ツールの外側でハマる場所はあります。私は pull のあと run スクリプトで起動し続けて、2バージョン分の高速化を取りこぼしていました。同じことをしている人は、一度 setup.sh を通してみてください。

    みなさんは、ローカル LLM の更新をどう回していますか。うちのように運用スクリプトを別に切っている人がいたら、工夫をコメントで教えてもらえるとうれしいです。

    ※速度やベンチの数字は、うちの環境(RTX 5090 を PCIe x4 相当で接続、RAM 94GB、IQ3_S、128K コンテキスト)で測ったものです。

    #ローカルLLM #Strata #Qwen #MoE #RTX5090 #ClaudeCode #llamacpp #LLM #自宅AI #ベンチマーク

     
     
    生成AIとローカルLLMの実機検証、自作プログラムの公開に加え、セキュリティと時事ネタの解説も書いています。セキュリティ関連ニュース、生成AI関連、モデル検証。ニュースの数字の裏側を、手元で確かめた結果と一緒に残します。

    あなたへのおすすめ