MoE・Mamba・RWKV による大規模言語モデルアーキテクチャの変容——構造・効果・今後の発展可能性の比較検討——
要旨
本稿では、トランスフォーマー以後の大規模言語モデル(LLM)における代表的な代替・拡張アーキテクチャとして、(1) Mixture of Experts(MoE)、(2) Mamba(Selective State Space Model)、(3) RWKV(Receptance Weighted Key Value)を対象とし、その詳細な構造・性能上の効果・スケーリング特性・今後の発展可能性を体系的に整理する。
MoE は「条件付き計算(conditional computation)」によりパラメータ数と計算量を切り離す方向でスケールを可能にし、Mamba は「線形時間の状態空間モデル」によってトランスフォーマーの注意機構に代わる長系列モデリングを提案し、RWKV は「RNN 的な逐次性」と「トランスフォーマー並みの性能・並列学習」の両立を目指すハイブリッド構造であることを示す。
これらはすべて、広義には「高度なパターン学習」であるが、記憶構造・計算グラフ・スケーリング則の観点から、従来の密なトランスフォーマーとは質的に異なる設計思想を持つ。
1. 序論:トランスフォーマーの限界とアーキテクチャ的多様化
トランスフォーマーは自己注意機構により長距離依存の学習を可能にしたが、標準的な実装では計算量・メモリ消費が系列長の二乗に比例する(O(n²))。コンテキスト長の増大、モデルサイズの爆発的スケーリング、推論コストの高騰、KV キャッシュの帯域制約などが、次の世代アーキテクチャを模索する主な動機になっている。
こうした背景の下で、
MoE: パラメータを多数の「専門家」に分割し、その一部のみを入力ごとに活性化することで「スパースな巨大モデル」を実現する枠組み。
Mamba: Selective State Space Model と呼ばれる線形時間の状態空間モデルに基づき、注意機構を用いずに長系列を効率的に処理するアーキテクチャ。(arXiv)
RWKV: RNN の逐次更新とトランスフォーマーの並列学習を組み合わせた、attention-free な言語モデル。(arXiv)
が、代表的な選択肢として浮上している。
以下では、それぞれについて「構造 → 効果(利点と限界) → 将来展望」の順に整理する。
2. Mixture of Experts (MoE)
2.1 基本構造
MoE は、入力 x に対して複数の「専門家」 f₁,…,f_N と「ゲーティング関数」 w(x) を用意し、
出力 f(x) を
f(x) = Σᵢ wᵢ(x) fᵢ(x)
として合成する枠組みである。
深層学習における MoE は、特に以下の特徴を持つ。
専門家 (experts): 通常はトランスフォーマーブロック中の FFN(linear–nonlinearity–linear)を複数コピーしたもの。
ゲート (gating network): 入力トークンごとに「どの専門家を何個活性化するか」を決める小規模ネットワーク。
スパースアクティベーション: 各トークンは上位 k 個の専門家(top-k、典型的には 1 または 2)のみを通過する(Switch Transformer は k=1)。(arXiv)
これにより、「総パラメータ数は巨大だが、1 トークンあたりの FLOPs は密なモデルと同程度」に抑えられる。
2.2 トランスフォーマーへの組み込み
トランスフォーマーでは、MoE 層は通常、自己注意の後に続く FFN 部分を置き換える形で挿入される。
代表例:
GShard: 各層で 128 専門家、top-2 routing を用いた機械翻訳モデル。
Switch Transformer: top-1 routing を採用し、ルーティングと補助損失を簡略化しつつ、1T パラメータ級のモデルを訓練。(arXiv)
GLaM (Google): 64 専門家からの top-2 を選択し、1.2T パラメータながら dense 版 GPT-3 より少ない FLOPs で同等以上の性能を達成。
DeepSeek-MoE / DeepSeek-V3: 共通能力を学習する「共有専門家」と、希少知識を学習する「ルーティング専門家」を組み合わせた設計を採用し、専門家の差別化(specialization)を強めている。
2.3 効果と利点
計算量とパラメータ数の分離
総パラメータは N_expert × d_model² にスケールしつつ、
トークンあたりの計算は「k 個の専門家分」に抑えられる。これにより「パラメータ数のスケーリング則」と「FLOPs 制約」をある程度切り離して扱える。
専門化とモジュラリティ
各専門家は特定の言語・スタイル・タスクに暗黙に適応しやすく、分布シフトへのロバスト性やマルチタスク性能の向上が報告されている。(Hugging Face)
事後的なスケールアップ(sparse upcycling)
既存の dense モデルを、FFN を複製して MoE 化し追加学習する手法も提案されている。
2.4 課題
ロードバランシング問題
ゲートが一部の専門家に集中すると、他の専門家はほとんど更新されない「専門家崩壊」が起きる。
これを緩和するため、f_i(流入比率)と P_i(ゲート確率)のバランスをとる補助損失や capacity factor による制約が導入される。
ルーティングの安定性
top-k ルーティングは非微分的な選択を伴うため、訓練初期に勾配が不安定になり得る。
Soft routing / expert choice / global assignment など、離散な選択の近似や最適輸送的な割り当てが研究されている。
分散インフラの複雑性
専門家ごとに異なるデバイスに配置するため、All-to-All 通信がボトルネックとなる。
実運用では、通信トポロジ・バッチ構成・専門家の配置戦略が性能を大きく左右する。
2.5 今後の発展可能性
MoE + 他アーキテクチャのハイブリッド化
Mamba / RWKV / vision backbone 等への MoE 組み込みは既に始まっており、「状態空間モデル × MoE」「RNN × MoE」のような構成も現実的になりつつある。
語学・モダリティ別の専門家構造
多言語・マルチモーダルモデルで、言語群ごと・モダリティごとに専門家を切る設計が進行している。
自己組織化的な専門家分化
DeepSeek 系が示すように、共有専門家 + ルーティング専門家のような二層構造や、aux-loss-free な動的バイアスによるルーティングなど、「専門家の自律的分化」を重視する方向に研究が向かっている。
3. Mamba: Linear-Time Selective State Space Models
3.1 状態空間モデルの系譜
Mamba は、構造化状態空間モデル(Structured State Space Models; SSM)の系譜に属し、
S4 などの先行研究を踏まえて、長系列を線形時間で扱うためのアーキテクチャとして提案された。(arXiv)
連続時間の線形状態空間モデルは概ね
x'(t) = A x(t) + B u(t)
y(t) = C x(t) + D u(t)
の形をとり、離散化により 1 次元畳み込みに近い構造へと変換される。Mamba はこの枠組みを、入力依存の選択的更新(selective scan)とハードウェアフレンドリーな実装で再設計したものである。
3.2 アーキテクチャ構造
Mamba ブロックの中核は、以下のような構成に要約される。(arXiv)
Selective State Space Layer
古典的 SSM と異なり、状態遷移パラメータ(A,B,C など)の一部を入力依存で変化させる「選択的」設計を採用。
これにより、単なる固定カーネル畳み込みではなく、入力内容に応じて動的に有効な時間スケールやフィルタ形状が変わる。
Selective Scan 実装
シーケンスに沿って線形時間で状態を更新するが、その更新を GPU のワープやキャッシュ階層に合わせて最適化している。
実装は FlashAttention に着想を得た「ハードウェア志向」のものであり、実効的にはトランスフォーマーに匹敵するスループットを実現することを目標としている。(GitHub)
シンプルなブロック構成
トランスフォーマーの「Attention + MLP」の二段構えを、基本的に「SSM ブロック 1 つ」にまとめる設計を採用し、構造を簡素化している。(DataCamp)
3.3 効果と性能特性
計算量とメモリ
自己注意の O(n²) に対し、Mamba は系列長 n に対して O(n) の計算・メモリを実現する。(arXiv)
特に長系列(コード、音声、DNA、時系列など)ではこの差が顕著になる。
長距離依存のモデリング
状態空間の観点からは、「長期記憶」は状態ベクトル x(t) に圧縮されて蓄積される。
実験的には、言語モデリングにおいてもトランスフォーマーと同等以上の性能を示したと報告されている。(arXiv)
他ドメインへの展開
VMamba など、Mamba をビジョンバックボーンに移植した研究では、2D Selective Scan によって画像の空間構造を線形時間で処理する枠組みが提案されている。(GitHub)
3.4 課題と限界
グローバルな「ランダムアクセス的依存」の表現力
注意機構は任意のトークン間の直接的な相互作用を表現しやすいのに対し、Mamba は状態空間を介した「圧縮的伝播」に依存する。
完全に同等の表現力を持つかどうかについては、タスクやデータ分布に依存する。
チューニングの難易度
SSM 系はハイパーパラメータ(状態次元・時間定数の分布など)がトレーニング安定性に強く影響する。
Mamba-360 などのサーベイでは、タスクごとの最適設定や学習の安定化手法が整理されつつあるが、注意機構ほど「デフォルトで安定」という段階には至っていない。(GitHub)
3.5 将来展望
Attention とのハイブリッド化
局所的には SSM、グローバルには注意、といった階層構造を持つモデルは自然な拡張方向であり、既にいくつかの提案が出ている。
MoE との組み合わせ
SSM ブロック自体を専門家化し、頻出パターン用とレアパターン用で異なる時間スケールを学習させる設計が考えられる。
ハードウェアとの共設計
状態更新がパイプラインフレンドリーであることから、専用アクセラレータとの共進化が期待される。
4. RWKV: Receptance Weighted Key Value
4.1 基本アイデア
RWKV は、「RNN 的な逐次更新」と「トランスフォーマー並みの性能・並列訓練」を両立することを目標としたモデルであり、Self-Attention を完全に排除したアーキテクチャとして提案された。(GitHub)
高レベルには、
各タイムステップ t に対して隠れ状態 h_t を持ち、
RNN のように h_t から h_{t+1} へ更新するが、
その更新式が「Key・Value の指数加重平均」と類似した構造を持ち、注意機構に近い表現力を持つように設計されている。
4.2 アーキテクチャ構造
RWKV ブロックは大まかに、
Time-mixing(時間方向の混合)
直近のトークン埋め込みと過去の隠れ状態を混合し、入力を時間方向に滑らかにする。
Channel-mixing(チャネル方向の混合)
MLP 的な変換により、特徴チャネル間の結合を行う。
Receptance-Weighted KV 更新
「Receptance(受容)」という重みを導入し、Key・Value の寄与を時間方向に指数的に減衰させつつ蓄積する構造をとる。(arXiv)
これにより、attention の「過去トークンの重み付き和」に対応する量を、逐次的・定数メモリで再現する。
4.3 訓練と推論
訓練時
RNN 的な再帰を直列に展開すると並列計算が困難になるが、RWKV は更新式を工夫することで「transformer と同様にバッチ並列・系列並列で訓練可能」としている。(arXiv)
推論時
1 ステップ前の状態 h_t のみを保持すれば次のトークンを生成できるため、
KV キャッシュを保持するトランスフォーマーに比べて、メモリ O(1)、計算 O(1)(トークンあたり)という性質を持つ。(GitHub)
4.4 効果と応用
長コンテキストへの適性
理論上は無限長コンテキストまで拡張可能とされ、実際に長文に対する効率的な推論が報告されている。(RWKV)
軽量デプロイ
KV キャッシュを保持しないため、メモリ帯域の制約が厳しいエッジデバイスやモバイル環境にとって有利である。
オープンソースエコシステム
実装・学習コードが公開されており、RWKV 専用のサーベイも登場している。
4.5 課題と今後の方向性
勾配伝播と長期依存
RNN 系同様、極めて長い系列に対する勾配消失・爆発の扱いは依然として課題であり、正則化・初期化・スケジューリングなどの工夫が不可欠である。(arXiv)
アーキテクチャの標準化
トランスフォーマーほどの「標準レシピ」がまだ確立されておらず、実務での採用はプラットフォーム依存が大きい。
Attention との融合
RWKV ブロックを一部混在させたハイブリッドモデルも構想されており、「局所は RWKV で逐次処理、グローバルは sparse attention」といった構成が今後の研究対象になり得る。
5. 比較:三つのアーキテクチャの位置づけ
5.1 概念的比較
MoE
「どのパラメータを使うか」を入力依存でスパースに選択することで、巨大モデルを計算可能にする「構造的スケーリング」の手法。
Mamba
「系列長に対する計算・メモリのスケーリング則」を O(n) に抑えるための、状態空間ベースの時系列モデリング。
RWKV
「逐次性と並列性」を両立しつつ、attention を排除して実装・推論コストを最適化する RNN–Transformer ハイブリッド。
いずれも、広い意味では 高次元空間でのパターン学習という枠組みから外れてはいないが、
どの次元に「疎性(sparsity)」や「再利用可能な構造」を導入するか
計算・メモリのボトルネックをどの方向にシフトさせるか
「記憶」をどのような形(専門家集合・状態空間・再帰状態)で保持するか
という設計思想が大きく異なる。
5.2 技術的トレードオフ(定性的)

6. 今後の発展可能性とメタレベルの含意
6.1 アーキテクチャの「組み合わせ」の時代
今後は、単一アーキテクチャの優劣ではなく、
MoE によるパラメータ空間のモジュール化
Mamba による時間方向の効率的圧縮
RWKV 的な逐次性・オンライン更新
をタスクごとに組み合わせる「コンポーザブルなモデル設計」が主流になる可能性が高い。
たとえば、
Mamba + MoE: 長系列 SSM ブロックを専門家化し、言語・ドメイン別に時間スケールを学習させる。
RWKV + sparse attention: 近距離依存は RWKV、重要なグローバル依存のみ sparse attention で補う。
MoE をメタレベルの記憶として用いる: 一部の専門家を「長期記憶モジュール」として半固定化し、他を短期適応用とする。
6.2 「パターンマッチングを超える」とは何か
技術的に厳密に言えば、MoE・Mamba・RWKV もなお「大規模パラメトリック関数によるパターン学習」である。しかし、
モジュール化された専門家群(MoE)
連続時間ダイナミクスを内在化する状態空間(Mamba)
逐次的更新による暗黙の内部表現(RWKV)
といった構造を通じて、「どの情報をいつ参照するか」「どの時間スケールを強調するか」といった メタレベルの制御 を学習している。この点で、単純な「表層パターンの静的照合」から、時間的・モジュール的な制御構造を含むパターン学習へと移行しつつある、と言える。
7. 結語
MoE・Mamba・RWKV は、それぞれ異なる方向からトランスフォーマーの限界に挑むものであり、
モデルサイズのスケーリング(MoE)
系列長のスケーリング(Mamba)
推論・デプロイ効率と逐次性(RWKV)
という異なる軸に沿って設計されている。今後数年は、これらのアーキテクチャとトランスフォーマーを含むハイブリッドモデルが並行して進化し、その過程で「記憶」「文脈」「推論」をどのように表現・制御するかという設計思想が、さらに多様化していくと考えられる。