Strata MoE Inference Engineについての深掘り(Niko1221/Strata)
大きなMoEのモデルを小さなVRAMのGPUで動かすのに特化したInference Engine ("Run server-grade frontier models like Qwen3.8-Flash-Next 125B on a single 12GB NVIDIA graphics card and 64GB system RAM—with zero cloud dependencies.")。面白いなと思ったので、以下詳細。AMD GPUでも動くらしい(`STRATA_USE_HIP`で実装を切り替えている。基本的にはCUDA APIで実装されているが、cuda_runtime.h の代わりに hip/hip_runtime.hをIncludeすることでコンパイル時にHIP関数に置き換えていると思われる)。
大規模言語モデル(LLM)のスケール増大に伴い、100Bパラメータを超えるモデルのローカル推論はハイエンドエンタープライズGPU(A100/H100等)を要求する課題が存在する。本稿で分析する Strata は、パラメータ数が巨大でありながら単一トークン処理時におけるアクティブ化率が低いスパースMixture-of-Experts (MoE) 構造(具体例:Qwen3.8-Flash-Next 等の125Bクラス)に着目したローカル推論エンジンである。
Strataは、従来の層ごと(Layer-wise)のオフローディング手法を排し、動的エキスパートキャッシング(Dynamic Expert Caching)、システムメモリ(RAM)/ GPU VRAM / NVMe SSD による3層階層型メモリアーキテクチャ、ならびに 推測デコーディング(Speculative Decoding) を統合している。これにより、12GB VRAMを搭載した一般消費者向けGPU(NVIDIA GeForce RTX 5070等)において、125B MoEモデルのローカル推論速度 50〜90+ tok/s を実現した。
2. 課題と研究背景 (Background & Problem Formulation)
2.1 従来のローカルオフローディングの限界
従来の llama.cpp や vLLM などにおけるコンシューマPC向けCPU/GPU協調オフローディング手法は、主に Layer-wise Offloading(レイヤー分割) に依拠していた。
しかし、重みをシステムRAMからGPU VRAMへ転送する帯域幅(PCIe Gen4/5:最大 32–64 GB/s)は、VRAMの内部帯域(数GB/s 〜 1 TB/s 以上)に対して著しいボトルネックとなるため、モデルサイズがVRAM容量を超える場合の生成速度は激減する。
2.2 スパースMoEのスパース性と局所性
Qwen3.8-Flash-Next に代表される現代の細粒度スパースMoE(Fine-grained Sparse MoE)は、総パラメータ数(125B)に対して数千〜万単位の小規模エキスパートが存在し、1トークン生成あたり数個〜十数個のエキスパート(例:~6B分)のみをゲートネットワークが動的にアクティブ化する。
さらに、文章生成におけるエキスパート選択には強い時間的・空間的局所性(Locality of Reference)が存在する点に着目し、Strataは「レイヤー単位」ではなく「エキスパート単位」での階層管理を設計の軸に据えている。
3. 手法とアルゴリズム (Methodology)
3.1 異機種3層階層型メモリアーキテクチャ (Hierarchical Memory Topology)
Strataは、システム全体のメモリリソースを以下の3段階の階層として再定義する。
$$\text{Memory Stack} = \{ \text{VRAM (Hot Cache)} \ \subset \ \text{System RAM (Pantry)} \ \subset \ \text{NVMe SSD (Storage)} \}$$
GPU VRAM (Tier-1 / Hot Cache):
トークン生成時に最も高頻度で参照されるトップランクのエキスパート(Hot Experts)、および Attention 処理に必要な Dense レイヤー、KV キャッシュを配置。
System RAM (Tier-2 / Pantry):
モデル全体の約125Bエキスパートパラメータ(Q2〜IQ3量子化時で約35–50GB)を保持。VRAMから漏れたCold Expertsの演算をCPU並列実行スレッドでフォールバック処理する。
NVMe SSD (Tier-3 / Sparse Disk Page):
超大型 N-gram ルックアップテーブルやメモリマップドファイル(--mmap-experts)をストアし、トークンデコード毎に必要なレコードのみをダイレクト I/O(Direct Disk Access)によりアクセス。
3.2 動的エキスパートキャッシング (Dynamic Expert Caching Algorithm)
Strataの中核となるアルゴリズムは、Gating Network のスコアに基づいてリアルタイムに VRAM 内のエキスパートを入れ替える LRU/頻度適応型動的キャッシュメカニズム である。
アルゴリズムの動作フロー:
Gating Phase: トークン $t$ の隠れ状態 $h_t$ に対し、ルーターが上位 $k$ 個のエキスパートインデックス $E_t = \{e_1, e_2, \dots, e_k\}$ を選択。
Hit/Miss Determination:
$e_i \in \text{Cache}_{\text{GPU}}$ の場合 (Hit): GPU CUDA Kernel にて高速行列乗算を実行。
$e_i \notin \text{Cache}_{\text{GPU}}$ の場合 (Miss):
CPU Offload Execution: メインRAM上の重みを用い、AVX-512 / AMX 指令セットで CPU 側で並列実行。
Cache Update: エキスパートの参照頻度(Hit Counter)を更新し、閾値を超えた非キャッシュ領域のエキスパートを非同期(Async CUDA Memcpy)で GPU VRAM へ昇格させ、LRUポリシーに基づいて最も冷えたエキスパート(Cold Expert)を降格・破棄する。
3.3 Draft-Speculative Decoding (推測デコーディングによる遅延隠蔽)
PCIeバス通信速度および CPU/GPU 間の同期同期オーバーヘッド(Latency)を相殺するため、Strataは Multi-Token Prediction (MTP) または軽量 Draft モデルによる Speculative Decoding(推測デコーディング)をパイプラインに組み込んでいる。
Draft Phase: VRAM上に常駐する軽量な予測レイヤー(Draft Head)が、$N$ 個の連続トークン候補 $\hat{y}_{t+1}, \dots, \hat{y}_{t+N}$ を高速生成する。
Verification Phase: 本体モデル(125B Target Model)が $N$ 個の候補トークンを一括(Batch)処理して並列検証を行う。
Speedup Effect: メモリ転送処理を1トークンごとではなく $N$ トークンごとにバッチ化して隠蔽(Amortization)することで、デコード時のメモリ帯域制約(Memory Bound)を破り、推論速度(Tokens/sec)を大幅に向上させる。
4. システム実装の詳細 (Implementation Details)
実装言語・インフラ: C++ を核とした低レイヤー並列化実装。CUDA Kernel(NVIDIA)および HIP runtime(AMD)をネイティブ制御。
量子化手法 (Quantization Formats):
超低ビット量子化である IQ2_XS / IQ3_XXS / GSQ (Group-Sparse Quantization) などを採用し、重みの精度低下を最小限に抑えつつパラメータあたりのフットプリントを 2〜3 bit/weight 程度まで圧縮。
メモリ最適化プロトコル (--mmap-experts / Low-RAM Mode):
メインRAM容量が限られている環境(32GB RAM等)向けに、OSの仮想メモリマップ(mmap)を用いてディスクから直接ページフォールト単位で重みブロックを引き込む機構を実装し、コミットメモリ要求量を軽減。
KV キャッシュ量子化 (KV Cache Quantization):
長文コンテキスト(32K〜64K Context)展開時における VRAM 圧迫を回避するため、KV キャッシュを 8-bit/4-bit(例:--kv k8v4)へ動的圧搾するカーネルを実装し、VRAM占有量を削減。
5. 評価および考察 (Evaluation & Discussion)
5.1 スループット性能(実測指標)
実機環境(RTX 5070 12GB VRAM + Ryzen 5 7600 + 64GB RAM)におけるベンチマーク実測結果はhttps://stratallm.org/#benchmarksを参照。
5.2 考察と限界 (Limitations)
初期ロード時間の遅延 (Cold Start Latency):
起動時に50GB超の重みデータとキャッシングインデックスをCPU/GPU双方に展開・検証するため、起動完了までに数分間の準備時間を要する。
タスク別精度の非対称性 (Accuracy Trade-offs):
2-bit量子化(IQ2_XS等)をベースとするため、テキスト生成や一般的なコーディングタスクでは極めて高い精度を維持する一方、高分解能を要するマルチモーダル(Vision)入力や複雑なロジック論理展開において精度劣化(Degradation)が観測される。
6. 結論 (Conclusion)
Strataは、「モデルパラメータ全量をGPU VRAMに載せる」という従来のローカルLLM推論の常識に対し、スパースMoEの局所性最適化と異機種メモリ階層(VRAM-RAM-SSD)の統合的パイプライン化によって解決アプローチを示した技術的成果である。
ハードウェアの物理的制限をソフトウェアアーキテクチャのイノベーションで補填することにより、単一のコンシューマ向けGPU環境における100B超モデルの実用化を実証した点で、オープンソースAI推論エンジンの進化における重要なマイルストーンに位置づけられる。