
321BのGLM-5.3-FlashをGPU1枚+RAMで動かす「Project Maya」を入れてみた
10日前、Strata の導入記の最後に「GLM-5.3-Flash は Strata には載らないので保留」と書きました。アーキテクチャが別物なので、カーネルから作り直す移植になる。そう見積もっていました。
前回の記事
その移植が、もう出ていました。Project Maya です。Strata のエンジンをもとに GLM-5.3-Flash 用に書き直したもので、GitHub で公開されています。
https://github.com/mw00/project-maya
最初のコミットは10月7日で、私が入れた時点で144コミット、バージョンは v1.0.23 でした。3日でここまで進んでいます。昨晩さっそく入れてみたので、手順と数字を残しておきます。
Maya は何をするものか
GLM-5.3-Flash は zai-org が MIT ライセンスで出している MoE モデルです。パラメータは321Bで、1トークンあたりに働くのは約18Bです。普通なら数百GBの GPU メモリを積んだサーバーで動かす大きさです。
Maya の考え方は Strata と同じです。よく使うエキスパートを GPU に置き、次に使うものを RAM に、残りを NVMe SSD に置いて、会話に合わせて入れ替えます。README にも、エンジンは Strata から始めて GLM-5.3-Flash 向けに書き直した、とはっきり書かれています。サーバーとダッシュボードも Strata 由来です。
前回「320B級は1bit級の量子化しか載らない」と書いたのは、うちの VRAM と RAM の合計が約125GBしかないからでした。Maya はここを、2bit の量子化と SSD からの読み込みで解決しています。
Maya-S ではなく Maya-S24 を選んだ
配布されている量子化は4種類で、Hugging Face に置かれています。Maya-S(96.5GB)、Maya-S24(94.7GB)、Maya-M(116GB)、Maya-L(156.3GB)です。
https://huggingface.co/peasantsmith/GLM-5.3-Flash-Maya-GGUF

インストーラが Maya-S24 を勧めるのは24GB以下のカードで、32GB のカードには Maya-S を勧めてきます。私は Maya-S24 を選びました。S24 は、エキスパート本体は Maya-S と同じ2bitのまま、全トークンが通るアテンションと共有エキスパートだけを6bitから4bitに落としたものです。GPU に常駐させる分が約1.5GB減り、そのぶんエキスパートを GPU に多く置けます。
作者の測定では、V100 32GB で decode が毎秒19.1トークン、Maya-S は17.2トークンです。精度の保持率は、5種類のゼロショット課題の平均で FP8 版の97.7%でした。Maya-S の97.9%とほぼ変わりません。速さを取る価値はあると判断しました。
ひとつ注意があります。モデルを明示しないとインストーラは Maya-S を選ぶので、設定を作り直すたびに --model Maya-S24 を付ける必要があります。
うちの環境
前回と同じ PC です。GPU は RTX 5090(32GB)、CPU は Ryzen AI MAX+ 395、RAM は約94GB、OS は Linux です。CUDA は 13.3 が入っていました。5090 には 12.8 以降が必要なので、ここは問題ありません。
5090 の PCIe 帯域が x4 相当しか出ていない点も変わっていません。RAM から GPU にエキスパートを流すエンジンには不利な条件です。この点は後で効いてきます。
セットアップは45分で終わった
フォルダ構成は Strata にそろえました。本体のリポジトリ(Maya)、モデル置き場(Maya-data)、自分用の運用スクリプト(Maya-tools)の3つを並べています。Maya のインストーラは、何も指定しないと本体の隣の Maya-data/models にモデルを置きます。最初からこの構成を想定しているようで、何もしなくてもそろいました。
打ったコマンドはこの2行です。
./maya.sh --check
./setup.sh --setup --model Maya-S24 --gpu 0 --context 32768 --no-vision --yes --download-model --no-start--check で GPU、CUDA、コンパイラ、RAM、CPU を確認し、2行目で最後まで非対話で進めます。注意点は --yes だけではモデルのダウンロードが始まらないことです。95GB を勝手に落とさないよう、--download-model を別に付ける作りになっていました。
Strata と違って、エンジンは配布版がなく、毎回手元でビルドします。案内には10〜30分とありましたが、32スレッドの CPU では数分で終わりました。あとはモデルのダウンロードが毎秒37MB前後で約40分、SHA-256 の確認とパック作成が数十秒です。始めてから設定ファイルができるまで45分ほどでした。
容量は、.venv が206MB、エンジンのビルドが217MB、Maya-data が90GBです。
またポートがふさがっていた
最初の起動は、ポートが使用中というエラーで止まりました。既定の8080番は、Strata のときと同じく Docker の SearXNG が使っています。
前回の Strata は8082番に逃がしていました。Maya も8082番にそろえています。RAM の都合で Strata と Maya を同時に動かすことはないので、片方ずつ使えば十分です。クライアント側の接続先を書き換えずに済むのも楽です。
起動テストの結果
起動は36秒でした。エキスパートを VRAM に23.7GB、RAM に64.5GB 固定して温めます。SSD に残る分はありません。94GB の RAM でぎりぎり全部収まった形です。
「日本の首都はどこですか?」と聞くと「東京です。」と返り、生成は毎秒33トークンでした。
付属のベンチ(./maya.sh --bench)の結果はこうです。
decode(256トークンの回答3問): 平均毎秒34.9トークン
prefill 2,048トークン: 毎秒261トークン
prefill 8,192トークン: 毎秒890トークン
作者の V100 32GB(RAM 64GB)での Maya-S24 の数字は、decode 19.1、prefill 2K が268、8K が368でした。作者の decode は5問の平均なので、問数は少し違います。decode は1.8倍、長いプロンプトの読み込みは2.4倍出ています。2K の prefill だけはほぼ同じでした。

ログを見ると、エンジンは RAM 側のエキスパートを GPU に送らず、CPU で計算させていました。1つあたり、CPU なら0.09ミリ秒、PCIe 越しに GPU へ送ると1.04ミリ秒、という測定に基づく判断です。うちの x4 接続では、PCIe を通すより AVX-512 の CPU に任せたほうが10倍速い、という結果になっています。GPU に置いたエキスパートのヒット率は56〜64%で、残りは CPU が担当しています。

起動中の RAM は73GB使用で、空きは約20GBです。ブラウザくらいは大丈夫ですが、ほかの LLM は止めたほうがいいです。
運用スクリプトを Strata から流用した
Strata のときに作った運用スクリプトを、Maya 用に書き換えました。start、stop、status、update、log に、付属ベンチを呼ぶ bench などを足しています。
書き換えていて気づいたことが2つあります。
1つ目は、Maya のサーバーとエンジンが Strata と同じ名前で動くことです。どちらも serve/server.py と strata という実行ファイルです。Strata 用のスクリプトはプロセス名だけで判定していたので、strata.sh stop を打つと Maya まで止まる状態でした。フォルダのパスまで見て区別するように、両方のスクリプトを直しています。
2つ目は、停止の作法です。前回の記事で、stop はまず SIGINT(Ctrl+C と同じ)を送る、SIGTERM だと後片付けが走らないから、と書きました。Maya で試すと、SIGINT を送っても何も起きません。5分待っても止まりませんでした。
原因はスクリプト側にありました。シェルスクリプトから & でバックグラウンド起動したプロセスは、SIGINT を無視する状態で始まります。そして Python は、起動時に SIGINT が無視になっていると Ctrl+C の処理を組み込みません。一方、今のサーバーは SIGTERM を Ctrl+C と同じに扱い、エンジンに終了の合図を送ってから終わる作りでした。そこで、サーバーにだけ SIGTERM を送るように変えました。今は4秒で正常に止まります。
Strata 側のスクリプトも同じ作りなので、前回の記事の説明は、少なくとも今のバージョンでは正しくありません。こちらも直す予定です。
コーディングベンチの準備
自作の llmbench(SWE-bench 風の自前タスクを解かせるツール)に、Maya を1モデルとして登録しました。条件は Strata のときとそろえています。出力の上限は49,152トークン、思考の上限は32,768トークンです。サンプリングは GLM-5.3-Flash の公式推奨(温度1.0、top_p 0.95)にしました。
ここでひとつ引っかかりました。最初に設定したコンテキスト長は32,768です。49,152トークンの出力枠とプロンプトが入りきらず、リクエストが拒否されてしまいます。設定を作り直して65,536に上げました。GLM-5.3-Flash は KV キャッシュが小さく、32Kで0.62GB、64Kでも1.00GBです。VRAM のエキスパート枠は0.28GB減っただけでした。
もうひとつ、思考の強さ(reasoning_effort)は none / low / high / max の4段階です。GLM には medium がないので、Qwen 系の感覚で medium を送ると high として扱われます。今回は送らずに、設定ファイルの既定の high に任せています。
試しに1問流したところ、正解でした。
コーディングベンチで測ってみた
Strata のときと同じタスクを解かせました。今回は各問1回ずつです。
基本〜応用の60問: 90.0%(54/60)
難しめの16問(L7): 75.0%(12/16)
Strata(Qwen3.8-Flash-Next IQ3_S)は、60問を各5回で1回あたりの正解率94.8%、L7を各3回で68.8%でした。60問ではやや下、L7ではやや上です。
ただし条件はそろっていません。Maya は各1回で、温度は公式推奨の1.0です。Strata の複数回試行は温度0.35でした。L7は16問しかないので、1問違うだけで6ポイント動きます。差というより、同じくらいの水準と見ています。
問題ごとに見ると、得意不得意は違いました。L7では、Strata が3回とも落とした t095 を Maya は解き、逆に Strata が3回とも解いた t106 を Maya は落としています。両方とも解けなかったのは t069、t103、t105 の3問です。60問で Maya が落とした6問のうち5問は、Strata が5回とも解いていた問題でした。
一番驚いたのは思考の短さです。サーバーのログで思考込みのトークン数を見ると、1問あたりの中央値は約300トークンでした。L7でも最長1,876トークンです。前回の Strata は L7で数千〜2万トークン考えるのが普通で、思考の上限に当たって落ちる問題もありました。Maya では上限に当たった問題は1つもありません。

そのぶん速く終わります。60問が約19分、L7の16問が約8分でした。生成速度はサーバー側で毎秒33トークン前後です。llmbench の表示は毎秒25〜28トークンですが、回答が短いのでプロンプトを読む時間が混ざっています。
思考の強さは、サーバー既定の high のまま測りました。GLM-5.3-Flash には max もあります。max で長く考えさせたら L7 がどう変わるかは、次に試したいところです。
入れてみて
前回「数週間単位の移植作業になる」と書いたものが、10日後には動いていました。Strata とは別のアカウント(mw00)から、Strata をもとに3日で144コミット積んで出てきたものです。オープンソースで出したエンジンが、こういう形で別のモデルに広がるのは見ていて面白いです。
321B のモデルが、手元で毎秒35トークン前後で動く。しかも RAM 94GB の PC で SSD に一切落とさずにです。セットアップも Strata と同じく venv に閉じたまま、45分で終わりました。コーディングベンチでも、Strata と同じくらいの正解率を、ずっと短い思考で出してきました。
一方で、ポート、プロセス名、シグナルのように、同じ系統のツールを2つ並べると見えてくる落とし穴もありました。特にシグナルの件は、Strata で「コードを読んで確認した」つもりの説明が、起動方法しだいで成り立たなくなる話でした。
みなさんは、似た系統のローカル LLM を複数入れるとき、どう住み分けていますか。ポートやスクリプトの工夫があれば、コメントで教えてもらえるとうれしいです。
※数字は、うちの環境(RTX 5090 を PCIe x4 相当で接続、RAM 94GB、Maya-S24)で測ったものです。付属ベンチはコンテキスト32K、コーディングベンチは64Kのときの値です。
#ローカルLLM #ProjectMaya #GLM #MoE #RTX5090 #Strata #llamacpp #LLM #自宅AI #ベンチマーク