メインコンテンツへスキップ

MoEとはなんぞや

    MoEとはなんぞや

    Understanding Mixture of Experts
    From Sparse Routing to Modern MoE Language Models

    https://drive.google.com/file/d/10uQYFdBboSNTDy7QZo9PtQKFcK2y_5fu

    こんにちは、makokonです。
    MoEに関する包括的な資料が公開されています。

    • トランスフォーマーのFFNがルーティングされたエキスパートのバンクに変わり、各トークンに対して少数のエキスパートのみが選択される場合に何が起こるのか

    • Mixture of Experts が実際にどのように動作するか

      • ルーターのロジット、

      • Top-k 選択、

      • エキスパートの重み付け、

      • 負荷分散、

      • 容量とトークンのドロップ、

      • ルーター z-loss、

      • ドロップレス実行、

      • 総パラメータ対アクティブパラメータ、

      • エキスパートの並列処理、

    • そしてこれらのアイデアが Mixtral、DeepSeek-V3、Qwen3 で実際にどのように現れるか

    この記事は、基本的に元資料を日本語化したものです。MoEについてなにか疑問に思ったときに、まずこの資料を見て、その後、指定されたリファレンスを読むためのものです。特段の独自考察もここには殆どありません。(内容が広範囲で分量も多い50000文字超えなので、いつものように直観的な理解のための用意ができませんでした。)

    この資料はどういうものなのか

    このハンドブックは、AIエンジニアや開発者に向けて、現代のMoE(Mixture of Experts)モデルの基礎数理からシステム設計・実践的な動作までを網羅的に解説する技術資料です。以下のようなポイントについて体系的に整理されています。

    • MoEの根本的な概念:標準的なTransformerのFFN(Feed-Forward Network)層をMoE層に置き換える条件付き計算(Conditional Computation) の仕組みや、モデルの総パラメータ数、1トークンあたりのアクティブパラメータ数、メモリ量、計算量(FLOPs)の違いを明確に説明しています。

    • トークンごとのエキスパート選択で起きていること:ルーターによるスコア算出(Logitやアフィニティ)、Top-\(k\)選択、重み付け結合といった処理の流れを具体的な数値例(Worked Examples)を交えて解説しています。また、特定のエキスパートに処理が偏るロードインバランス(負荷不均衡) や、それを防ぐ補助損失(Auxiliary loss)・バイアス調整の仕組みについても丁寧にカバーしています。

    • 実際のモデルでの動作とシステム設計:Mixtral 8x7B、DeepSeek-V3(DeepSeekMoE)、Qwen3といった現代の主要モデルでの設計上の違いや、複数GPUに分散処理するエキスパート並列化(Expert Parallelism) や通信(All-to-All)、トークンドロップ(Token Dropping) の回避策など、システム実装・運用上の課題や動作メカニズムがまとめられています。

    • 論文への参照(Research Anchors):各項目の末尾に「Research anchors」として関連論文の番号が明記されており、巻末の参考文献一覧(1991年の古典的論文から最新のDeepSeek-V3やQwen3技術レポート、Megatron Coreのドキュメントまで)へスムーズに辿れる構成になっています。

    現代のMoEを採用したシステム設計やモデルの挙動について疑問が生じた際に、最初に参照する実践的なガイドとして活用できるでしょう。

    各章の概要

    これから各章に書かれていることの概要を順に説明していきます。私の興味と理解度によって、説明粒度が変わることはお許しください。より詳しい理解を求めるかたは、参照論文を当たることをおすすめします。

    Why Mixture of Experts exists(なぜMixture of Expertsが存在するのか)

    3行要約

    本章では、従来のDense(高密度)モデルが抱える構造的な課題と、MoEが解決策として導入する「条件付き計算(Conditional Computation)」の概念が解説されています。

    1. 従来のDenseモデルと異なり、MoEは「条件付き計算」を用いてパラメータ容量と1トークンあたりの計算量を分離する。

    2. 入力トークンに対してルーターが全N個から少数k個のエキスパートを選択するため、選ばれなかった計算を省略できる。

    3. 計算実行量は削減されるが、モデル全体の重みを保持するメモリ量や実時間レイテンシが自動的に減るわけではない。

    Research anchors: [2], [4], [7]

    1. 従来のDenseモデルの限界

    従来の標準的なニューラルネットワーク層(Dense層)では、到達するすべてのトークンに対して全く同じ学習済みパラメータが適用されます。そのため、モデルの幅や深さを広げてパラメータ容量(表現力)を増やそうとすると、それに伴って1トークンあたりに実行される計算量も比例して増大してしまうという課題がありました。

    2. 「条件付き計算」によるパラメータと計算量の分離

    MoEは条件付き計算(Conditional Computation) という新たなスケーリング軸を導入します。モデル全体として膨大なパラメータバンクを保持しつつ、特定の入力に対してはその一部(サブセット)のみをアクティブ化して処理します。MoEの主要な目的は、単にコストなしでパラメータを得ることではなく、「モデルに保持されるパラメータ容量」と「1トークンに適用される計算量」を分離(デカップリング)することにあります。

    3. 図表にみるルーターとエキスパートの仕組み

    画像

    入力トークンxは、、まずルーターに入力され、全部でNこあるエキスパートの中から非常に小規模なエキスパート集合(k個)が選択されます。
    選択されなかった残りのエキスパートは、そのトークンに対して実行されません。

    4. 入力依存性と重要な注意点

    この選択は入力依存(input-dependent)で行われます。そのため、隣接するトークン間で異なるエキスパートが使われたり、同じトークンであっても層を経由して隠れ表現が変わることで、層ごとに異なるエキスパートが選択されたりします。

    また、資料では重要な注意点として 「スパースアクティベーション(疎な有効化)によって削減されるのは計算の実行であり、全エキスパートの重みを保存するために必要なメモリ量が自動的に減るわけではなく、実時間(レイテンシ)の短縮が保証されるわけでもない」 と強調されています。


    What an expert replaces(エキスパートが何を置き換えるのか)

    3行要約

    本章では、標準的なTransformer構造(Denseモデル)と比較しながら、MoEにおける「エキスパート」がモデル構造のどの部分に位置し、何を置き換えているのかが明快に整理されています。

    1. MoEはSelf-Attentionを変更せず、各層の**Dense FFN(フィードフォワード層)**のみを置き換える。

    2. 単一のFFNを同じ入出力形状を持つ複数のFFN群(\(E_1 \dots E_N\))にし、ルーターでトークンごとの割り当てを決める。

    3. MoEにおける「エキスパート」とは独立したLLMではなく、層の内部に配置されたFFNサブネットワークである。

    Research anchors: [3], [4], [9], [11]


    1. 標準的なDense TransformerにおけるFFN層

    標準的なTransformerでは、Self-Attentionサブ層の後に、各トークンに対して独立して適用されるフィードフォワードネットワーク(FFN)サブ層が存在します。
    最も単純な2つの行列を用いたFFNの計算式は以下のように表されます。

    画像

    ここで xはトークン表現、W_1は隠れ次元への拡張、phiは非線形活性化関数、W_2はモデル次元への再投影を担います。

    標準的なDenseモデルの根本的な特徴は 「その層に1組のFFNパラメータしか存在せず、すべてのトークンが全く同じFFNパラメータを通る」 いう点にあります。

    2. 図表にみる構造の変化

    画像
    画像

    資料内の構造変化を示す図(では、以下の設計転換が描かれています。

    • アテンションは変更しない:MoE Transformerは通常、トークン同士の情報を混ぜ合わせるSelf-Attentionメカニズムには手を加えません。

    • FFNをエキスパート群に置き換え:1つの単一FFNを、同じ入力・出力形状を持ちながら異なるパラメータを持つ複数(N個)のFFNバンク(E_1(x),,,,E_N(x) に置き換えます。

    • ルーターの制御:追加されたルーター(router)が、各トークンをどのエキスパート(FFN)に割り振って処理させるかを判断します。

    3. 正しいメンタルモデル

    資料では重要な注意点(Mental model)として、現代のスパースTransformer MoEにおける 「エキスパート」とは単に層内部のFFNサブネットワークのことであり、単体で動作する独立した言語モデルではないと強調されています。


    One equation, sparse support(1つの方程式とスパースサポート)

    3行要約

    本章では、MoE(Mixture of Experts)層の動作を決定づける1つの基本方程式と、その計算効率の要である「スパース性(疎さ)」の数理的メカニズムが解説されています。

    1. MoE層は全エキスパートの重み付け和として定式化され、G(x)の大半がゼロになることで計算コストが削減される。

    2. 選択により実行されるエキスパートはk個に絞られるが、トークン自体の隠れ次元は変更されない。

    3. この基本方程式はSoftmaxやSigmoidなど、様々なルーティング方式を共通して扱う抽象モデルである。

    Research anchors: [2], [7], [9], [10], [11]

    MoE層を定義する基本方程式:

    画像
    画像

    1. MoE層を定義する1つの基本方程式

    基本方程式は、ルーターが、i番目のエキスパートを与えるときの重みをGと下ときの一般的な出力を示しています。
    この数式自体は必ずしもスパースであることを条件としておらず、単に全エキスパートの出力を重み付け結合する形を示しています。

    2. 計算上の優位性を生む「スパースサポート(Sparse Support)」

    MoEが計算効率上のメリットを発揮するのは、(G(x) の要素の大部分が正確にゼロになるときです。
    重みがゼロでない少数のエキスパートのインデックス集合をサポートセットと定義すると、実際に計算を実行する必要があるのはこの S(x)に含まれるエキスパートのみとなります。

    画像

    標準的なトークン選択ルーティングでは実際の出力は選ばれたk個のみの計算に縮小されます。

    3. エキスパートの出力形状とトークン次元の保持

    • 出力の結合条件:複数のエキスパートの出力を足し合わせるため、各エキスパートは互換性のある出力形状を持つ必要があります。実用上のLLMでは、トレーニングや分散実行の規則性を高めるため、均一(同構造)なFFNエキスパート群が一般的に使用されます。

    • 変わらないもの:MoE層の入出力境界において、トークン表現のモデル隠れ次元(\(d_{model}\))自体は一切変化しません。スパース性はパラメータの選択と実行の段階に存在するものであり、トークンベクトルの次元が小さくなるわけではありません。

    4. ルーター実装の抽象化としての数式

    資料では、この基本方程式が**特定の実装方法に依存しない「抽象化」**であることが強調されています。Expert-Choiceなど、どのようなルーター手法であってもエキスパートの重みG(x)の構築方法が異なるだけで、共通してこの同一の数式モデルで表現されます。


    Where MoE sits in the block(ブロック内のどこにMoEが配置されるか)

    3行要約

    本章では、Transformerブロックの全体構造の中でMoEが具体的にどの位置に挿入され、データがどのように流れるのかが数式とブロック図で解説されています。

    1. MoEはTransformerブロック内のAttention層ではなく、FFN(フィードフォワード)サブ層を置き換えて配置される。

    2. トークンはAttention通過後、ルーターでエキスパートへ分散され、結果を重み付け結合して次のブロックに進む。

    3. FFNをスパース化するMoEと、Attentionをスパース化する技術は独立しており、柔軟に組み合わせられる。

    Research anchors: [3], [4], [9]

    1. 標準的なTransformerブロックとの比較

    標準的なPre-Layer Normalization(事前正規化)スタイルのTransformerブロックは、トークン間の情報を混ぜ合わせる「Attention(アテンション)」層と、各トークンを独立して処理する「FFN(フィードフォワード)」層が交互に配置される構造を持ちます。

    • 標準的なDenseブロックの計算:

    画像

    MoE化したブロックの計算:
    MoEモデルでは、2番目のFFN計算部分のみがMoE層へとそのまま置き換わります。

    画像

    (※モデルによって正規化や残差接続の順序は異なりますが、構造上の位置付けは共通しています)

    2. 図表にみるブロック内のデータフロー

    資料内のブロック構成概念図では、データが以下の順序で処理される様子が示されています:

    画像
    1. 入力隠れ状態(hidden states) が、まずトークン間の相互作用を担うAttentionサブ層を通過します。

    2. その後、従来のDense FFNではなくルーター(router)へ渡され、最適なエキスパートへと振分けられます。

    3. 選択されたエキスパートの出力が重み付け結合(weighted combine)され、残差接続を経て次のブロック(next block) へと送られます。

    3. 主要モデルでの適用例

    資料には、主要モデルでの適用事例があることが示されています。

    • GShard:Transformer内にスパースMoE層を配置し、多数のデバイスにまたがる大規模スケーリングを実証しました。

    • Switch Transformer:ルーティングを最もスコアの高い1つのエキスパート(Top-1)のみに絞ることで処理を単純化しました。

    • Mixtral:FFNブロックをスパースエキスパート層に置き換え、各トークンを2つのエキスパート(Top-2)にルーティングします。

    4. 重要な注意点(アテンションのスパース性との区別)

    資料では重要な注意点として、「MoE(FFNのスパース化)」と「Attentionのスパース化(Sparse Attention)」は全く別個の概念であると強調されています。
    モデル設計において、「Dense Attention + Sparse FFN(通常のMoE)」、「Sparse Attention + Dense FFN」、「両方をスパース化」など、これらは自由に組み合わせることが可能です。

    From a token vector to expert scores(トークンベクトルからエキスパートスコアへ)

    3行要約

    本章では、ルーターがどのようにして入力されたトークンベクトルから各エキスパートに対するスコア(数値)を算出するのか、その計算式と重要な概念・用語の整理がなされています。

    1. ルーターはトークンベクトルxに行列Wを乗算してロジットを出し、Softmax等で各エキスパートへの密なスコアを計算する。

    2. ルーターの計算量はd*Nに比例し、正規化前の「ロジット」と重み付けに使う「ゲート/アフィニティ重み」は区別される。

    3. ルーターはエキスパートの意味的役割を理解しているのではなく、タスク損失等を通じて数値スコアへのマッピングを学習する。

    Research anchors: [2], [4], [11]


    1. 線形ルーターによるロジット(Logit)の計算

    最も一般的な線形ルーターでは、トークン表現をx、重み行列をWで表します。

    画像
    画像

    ここで d はモデルの隠れ次元、N は全エキスパート数)。
    行ベクトル表記を用いると、各エキスパートに対するルーター・ロジットhは次のように計算されます。
    この計算により、全N個のエキスパートそれぞれに対して1つの未正規化スコア(ロジット)が割り当てられます。

    2. ソフトマックスによる密な確率分布の算出

    一般的なSoftmaxルーターの場合、算出されたロジットから各エキスパートへの確率を算出します。

    画像

    この段階で算出される値は、上位k個を選択する(スパース化する)前の密な確率分布となります。

    3. ルーターの計算コスト

    ルーターのパラメータサイズは巨大なFFNエキスパートに比べれば非常に小規模ですが、計算コストはゼロではありません。ルーターのスコア計算コストは (モデル次元 × エキスパート数)に比例して増加します。Switch Transformerの論文でもこの項が言及されていますが、1つのエキスパートのみ選択される場合(Top-1)、エキスパート側の計算量は総エキスパート数とともに増加しないのに対し、ルーター側の計算量はエキスパート数に依存して増える点に注意が必要です。

    4. 用語の重要な区別

    ルーティングの理解において、以下の2つの用語を明確に区別することが強調されています。

    • ルーター・ロジット(Router logit):ルーティングネットワークによって生成される正規化前の生のスコア。

    • ゲート/アフィニティ重み(Gate/affinity weight):ルーターの変換処理を経て、エキスパートのランク付けや最終的な出力の重み付けに使用される値。

    これらは必ずしもSoftmaxで結びついているとは限りません。例えば DeepSeek-V3 では、Sigmoid関数を用いて routed-expert のアフィニティを計算し、選択されたアフィニティを正規化して結合に使用しています。

    5. ルーターのメンタルモデル

    資料では重要な理解として、「ルーターはエキスパートの『名前』や『専門分野』を理解しているわけではない」 と説明されています。ルーターが学習するのは、現在の隠れ表現から数値スコアへのマッピングに過ぎず、その学習を駆動するのはタスク損失(言語モデル全体の損失)やロードバランス/安定性の目的関数です。

    Selection, weighting, and the hard decision(選択、重み付け、そして離散的決定)

    3行要約

    本章では、全エキスパートのスコア算出後に実行されるTop-k選択の数式表現と、選択された重み(ゲート値)の多様性、そして「離散的な選択」をどのように微分可能にして学習させるのかが解説されています。

    1. 全スコア計算後、S(x)で選択されるが、重みの計算方法はモデル(Mixtral, DeepSeek等)ごとに異なる。

    2. インデックス選択自体は離散的だが、選ばれたゲート値はスコアに対して微分可能なため、勾配が適切に伝播する。

    3. 選択境界での不連続性は存在するが、実用上のMoE学習において不連続性を無理に滑らかに近似する必要はない。

    Research anchors: [2], [4], [9], [11]
    基本式

    画像

    1. Top-k選択と重み付けの基本構造

    全エキスパートのスコア算出後、トークン選択型ルーティングでは少数のエキスパートのみを保持します。Softmax Top-kルーターの場合、選択されたエキスパートのインデックス集合を(基本式上)と定義し、MoE層の一般的な出力は (基本式下) と表されます。

    2. 選択重みの多様性(単一の規則は存在しない)

    資料では、「Top-kは常に元のSoftmax確率を再正規化する」と一律に定義することは間違いであると指摘されています。実際のモデル実装によって Piの算出方法は大きく異なります:

    • Shazeer (2017):選択されなかったロジットを-♾️に設定した後にSoftmaxを適用します。

    • Switch Transformer:選択されたTop-1エキスパートのルーター確率値をそのままゲート値として使用します。

    • Mixtral:選択された Top-k ロジットに対してSoftmaxを計算します。

    • DeepSeek-V3:Sigmoidによるアフィニティを算出し、Top-k選択を行った後に、選ばれたアフィニティを正規化します。

    3. 離散的な決定(Hard decision)をどのように学習させるか

    「エキスパートのインデックスを選ぶ」という操作自体は離散的で不連続な計算です。しかし、以下のメカニズムにより勾配(グラディエント)を伝播させて学習を成立させています:

    • 選択集合内での可分性:選択されたエキスパートの集合が変化しない領域内において、選択されたゲート値はルータースコアに対して微分可能な関数となります。(k > 1) の場合はもちろん、Top-1ルーティングであってもゲート値自体が微分可能なパスを提供します。

    • 補助損失:ルーター補助損失(Auxiliary loss)が追加の勾配シグナルを供給します。

    • 境界の不連続性:選択が切り替わる境界では不連続になりますが、実際のMoEの学習において、Top-kインデックス操作を全領域で滑らかな関数とみなさなくても、問題なく学習が機能することが確認されています。

    From logits to two selected experts(ロジットから選ばれた2つのエキスパートへ)

    3行要約

    本章では、4つのエキスパート(N=4)が存在する環境において、1つのトークンがルーター・ロジットからTop-2ルーティング(k=2)によって2つのエキスパートを選択し、各重みが決定されるまでの計算手順を具体的な数値例と表で分かりやすく追っています。

    1. 4つのロジット [2.0,1.2,0.1,−0.4][2.0,1.2,0.1,−0.4] にSoftmaxを適用し、密な確率 [0.5919,0.2659,0.0885,0.0537][0.5919,0.2659,0.0885,0.0537] を算出する。

    2. Top-2選択により上位2つの確率を再正規化し、スパースゲート [0.6900,0.3100,0,0][0.6900,0.3100,0,0] を得る。

    3. ルーティングは「ランク付け」と「貢献度の決定」から構成され、再正規化の方法はモデルのアーキテクチャ依存である。

    Research anchors: [2], [9], [11]

    1. ルーター・ロジットの算出とSoftmaxの適用

    1つのトークンに対して、ルーターが以下の4つのロジット(未正規化の生スコア)を出力したと仮定します

    画像

    これにSoftmax関数を適用すると、小数点以下4桁の密な確率分布が得られます:

    画像

    2. Top-2選択と確率の再正規化(ペダゴジカルな数値例)

    Top-2ルーティングを採用しているため、最も高い確率を持つ上位2つのエキスパート(エキスパート1とエキスパート2)が選択されます。

    本例では教育的な説明(Pedagogical example)として、選ばれた2つの確率の和が1になるように再正規化(Renormalization)を行う実装を扱っています:

    画像

    選ばれなかったエキスパート3と4の重みは0となり、最終的なスパースゲートベクトルは G(x)≈[0.6900,0.3100,0,0]G(x)≈[0.6900,0.3100,0,0] となります。

    3. 資料内の表にみる数値比較

    資料内の計算表では、各ステップにおける数値の変化が整理されています:

    画像

    4. 数値計算が示す2つの操作と注意点

    この計算手順から、ルーティングには 「エキスパートを順位付け(ランク付け)する操作」 と 「選択された各エキスパートの貢献度(重み)を決める操作」 という2つの独立したステップがあることが明確に分かります。

    また、資料では 「選ばれた確率の和を1に再正規化する計算はあくまで解説用の例であり、すべてのMoEモデル共通の絶対ルールではない」 と注意を促しています。実際のモデル(MixtralやDeepSeek-V3など)を分析する際は、必ずそのモデル固有のルーター定義を確認することが重要です。


    Combining the expert outputs(エキスパートの出力を結合する)

    3行要約

    前章(WORKED ROUTING I)で算出された重みを使い、選択された複数のエキスパートの出力ベクトルを実際にどのように重み付け結合(加算)するのか、具体的なベクトル数値計算の例とともに解説されています。

    1. 選択されたエキスパートの出力ベクトルにゲート重みを掛け合わせて重み付け和を算出する。

    2. Top-k 選択は単純な平均化ではなく、ルーターが各エキスパートの寄与度を不均等に調整する。

    3. ルーティングが「計算場所」、エキスパートが「変換候補」、ゲート重みが「結合方法」をそれぞれ担当する。

    Research anchors: [2], [9]

    1. エキスパート出力ベクトルの重み付け計算

    前章の計算により、選ばれた2つのエキスパートのゲート重みはそれぞれ以下のようになります:
    エキスパート1の重み,エキスパート2の重み

    画像

    ここで、2つのエキスパートが入力xに対してそれぞれ以下の2次元ベクトルを出力したと仮定します:

    画像

    MoE層の最終出力yは、重み付け和として以下のように計算されます1-4式:

    • 第1次元(第1座標):3式

    • 第2次元(第2座標):4式

    • 結合の出力ベクトル:2式

    画像

    2. 単なる「平均(単純加算)」ではない理由

    資料内の概念図が示す通り、Top-2ルーティングは「2つのエキスパートを選んで単に平均化する(1/2ずつ足し合わせる)」処理ではありません。ルーターが算出したゲート重みによって、各エキスパートの変換結果の寄与度(不均等な影響力)を柔軟にコントロールすることができます。

    3. Transformerブロック内での結合出力の扱い

    こうして得られたMoE層の出力 (y) は、Transformerブロックの残差接続(Residual connection)や層正規化(Layer Normalization)といった通常の構造に組み込まれ、次のブロックへと引き継がれます。

    4. ルーティングにおける3つの役割分担(メンタルモデル)

    資料では、MoEの役割分担について以下のメンタルモデルが提示されています:

    • ルーティング(Routing):計算を「どこで(どのエキスパートで)」行うかを選択する。

    • エキスパート関数(Expert functions):変換の「候補(Candidate transformations)」を計算する。

    • ゲート重み(Gate weights):選ばれた変換結果を「どのように組み合わせるか」を決める。

    The assignment matrix matters(割り当て行列の重要性)

    3行要約

    1. 多数のトークンとエキスパートの割り当て関係は、バイナリ行列 で表現されます。

    2. 行列の「行」は各トークンの選択数を、「列」は各エキスパートの負荷(受け取るトークン数)を表し、処理負荷の偏りが可視化されます。

    3. 数式上はスパースであっても、割り当て行列の偏りが極小バッチや過度な通信を生むとシステム性能は大幅に低下します。

    画像

    Research anchors: [2], [8], [16]


    1. 割り当て行列(Assignment Matrix)の定義

    T個のトークンと N個のエキスパートが存在する場合、ルーティングの対応関係は要素が0または1のバイナリ行列 として表現されます。

    画像

    ここでR_{t,i} = 1 は、トークン t がエキスパート i に割り当てられたことを意味します。

    2. 数値例にみる行列の構造と負荷の不均衡

    4つのトークン、4つのエキスパート、およびTop-2ルーティングを採用した具体例を考えます。割り当て行列 は以下のように示されます:

    画像
    • 行の合計(Row sums):各トークンが2つのエキスパートを使用するため、すべての行の和は等しく2となります。

    • 列の合計(Column sums):各エキスパートに送られるトークン数(エキスパート負荷)を表します。

    画像

    合計で 8個のエキスパート割り当てが存在しますが、エキスパートごとの負荷は均一ではなく不均衡が発生していることが分かります。

    3. 割り当て行列から導かれる4つの重要概念

    このシンプルな行列構造から、MoEのシステム設計における以下の4つの基本概念が明確になります:

    • エキスパート負荷(Expert load):行列の各列に含まれる、ルーティングされたトークンの総数。

    • キャパシティ(Capacity):実装において、1つのエキスパートが処理を許容される最大割り当て数。

    • ディスパッチ(Dispatch):処理を必要とするエキスパートごとに、トークンの行データを再グループ化する操作。

    • コンバイン(Combine):エキスパートによって処理された出力を、元のトークン順序へ復元して結合する操作。

    4. 分散環境での通信と運用上の非効率性

    エキスパートが異なるデバイス(GPU等)に分散配置されている場合、この論理行列の「列」はネットワークを越えて移動・転送すべき転送量に対応します。

    資料では重要な注意点として、「数式上はどれほどスパース(疎)で計算量が削られていても、割り当て行列が極小のエキスパートバッチ、深刻な負荷不均衡、または高コストな通信を引き起こす場合、システム運用上は非常に非効率になり得る」 と強調されています。


    Research anchors: [1]-[4]

    MoE predates the Transformer(MoEはTransformerよりも前に存在していた)

    3行要約

    本章では、MoE(Mixture of Experts)が現代の大規模言語モデル(LLM)のために突如発明された技術ではなく、数十年にわたる研究と進化の歴史を持つ技術的系譜であることが解説されています。

    1. MoEの原点は1991年のJacobsらによる研究に遡り、現代のLLMのために突如作られた技術ではない。

    2. 2017年のShazeerらによるスパースTop-\(k\)計算を経て、GShardやSwitchによりTransformerへの統合と大規模分散化が進んだ。

    3. 現代のMoEは「学習によるモジュール化」から「分散環境におけるスパースな条件付き計算」へと進化してきた技術的系譜である。

    Research anchors: [1]-[4]


    1. 1991年:MoEの原点(Adaptive Mixtures of Local Experts)

    MoEの根本的なコンセプトは、1991年にJacobs、Jordan、Nowlan、Hintonらによって発表された「Adaptive Mixtures of Local Experts」に遡ります。この研究では、個別のエキスパートネットワークがトレーニングデータの異なる部分集合を学習し、ゲーティング機構(gating mechanism)がケースに応じて割り当てを行うという仕組みが提案されました。

    2. 現代のスパースLLMへ繋がる2つの重要なステップ

    現代のTransformer MoEに至るまでには、以下の2つの技術的ブレイクスルーがありました:

    • スパースな条件付き計算(2017年:Shazeer et al.):
      MoEを汎用的なニューラルネットワーク構成要素へと進化させました。数千規模のFFNエキスパートと学習可能なスパースゲートを導入し、各入力に対してごく少数のエキスパートのみを評価する仕組みを構築しました(※この時点ではTransformer内ではなく、再帰型ニューラルネットワーク/RNN層の間に配置されていました)。

    • Transformerスケールへの統合と大規模化(2020年〜2022年):

      • GShard(2020年):スパースゲート付きMoEをTransformerブロックへ統合し、6000億(600B)パラメータを超える多言語翻訳モデルで自動シャーディングと大規模分散処理を実証しました。

      • Switch Transformer(2022年):ルーティングを単一のエキスパート(Top-1)へと単純化し、超大規模環境における学習の安定性やロードバランス、エキスパートキャパシティの概念を整理しました。

    3. 資料内の年表(Evolutionary Timeline)にみる進化の系譜

    資料内のまとめ表(Year / Work / Durable idea)では、MoEの発展が以下のように体系化されています:

    画像

    4. 正しいメンタルモデル

    資料ではメンタルモデルとして、「MoEは現代の巨大LLMのためだけに作られた一時的なトリックではなく、学習によるモジュール化(Learned Modularity)から大規模分散環境でのスパースな条件付き計算へと長年進化してきた系譜の1つの到達点である」 と説明されています。


    The 2017 sparsely-gated formulation(2017年のスパースゲートによる定式化)

    3行要約

    本章では、現代のスパースMoEの基礎となったShazeerら(2017年)によるノイズ付きTop-\(k\)ゲートの数式モデルと、その定式化によって生じるシステム上のコストについて解説されています。

    1. Shazeerら(2017)はガウスノイズを加えたロジットから上位k個を選ぶスパースゲートG(x)を定式化した。

    2. ノイズは学習時の探索や負荷分散のために導入されたが、現代のすべてのルーターでノイズが使われるわけではない。

    3. 入力依存ルーティングに起因する「エキスパートバッチの縮小」と「通信帯域コスト」は現在も重要な課題である。

    Research anchors: [2]


    1. ノイズ付きTop-kゲートの定式化

    Shazeerらは、ルーター計算にノイズを加えるスパースゲートを提案しました。
    まず、入力ベクトルから正規化前の高密度なスコアを次のように算出します:

    画像

    (ここで Ε はガウスノイズを表します)。

    次に、上位k個以外のスコアをー♾️に置き換えた(KeepTopK演算子)上で Softmax を適用し、スパースなゲート重みを生成します:

    画像


    この処理により、選ばれなかったエキスパートの重みは厳密にゼロとなり、そのトークンに対する計算の実行が省略されます。

    2. ノイズ導入の目的と現代的解釈

    オリジナル設計におけるノイズの追加は、学習時のロードバランシング(負荷分散)や探索(exploration)をサポートするという目的がありました。
    ただし、資料では 「すべてのMoEルーターがノイズを追加するわけではない」 と注意が促されており、現代の多くのルーターでは異なるメカニズムが使用されています。

    3. 現在も直面する2つのシステムコスト

    Shazeerらの論文では、入力依存のスパースルーティングから直接生じる2つの根本的なシステムコストが指摘されています:

    • エキスパートバッチの縮小(Shrinking expert batches):バッチサイズをb、全エキスパート数をN、1トークンあたりの選択数をkとすると、分散集計前の各エキスパートが処理する平均トークン数は約 kb/N まで小さくなります。行列が小さくなりすぎるとアクセラレータ(GPU等)の計算効率が低下します。

    • ネットワーク帯域幅(Network bandwidth):エキスパートが複数デバイスに分散配置されている場合、トークン表現やエキスパートの出力をデバイス間で相互に転送(All-to-All通信)する必要があります。

    4. 原点としての評価

    2017年の定式化は現代MoEの基礎(foundational)ですが、現代のモデルを解説・設計する際は、すべてが2017年版のノイズ付きTop-kのコピーであると仮定せず、それぞれのモデル固有のルーター定義に基づいて記述することが重要です。


    How sparse experts entered large Transformers(スパースエキスパートがどのように巨大Transformerに導入されたか)

    3行要約

    本章では、スパースMoEが現代の超大規模Transformer言語モデルへと組み込まれ、分散インフラストラクチャ上でスケーリングを可能にした2つの金字塔的研究(GShard と Switch Transformer)について解説されています。

    1. GShard は Transformer への MoE 統合と自動シャーディングを実現し、600B 超の多言語モデルでの選択的実行を証明した。

    2. Switch Transformer はルーティングを Top-1へ単純化し、計算・通信・キャパシティの負担を大幅に削減した。

    3. 静的バッチ用のエキスパートキャパシティや溢れ(Overflow)の概念を確立したが、Top-1 が万能ではなく Top-kの選定は設計トレードオフである。

    画像

    Research anchors: [3], [4]


    1. GShard:大規模TransformerへのMoE統合と自動シャーディング

    GShard は、スパースゲート付きMoEをTransformer内部に組み込み、自動シャーディング(Automatic Sharding)技術と組み合わせました。

    • スケーリングの実証:2,048 基の TPU v3 アクセラレータを用いて、6,000億(600B)パラメータを超える多言語翻訳モデルへの大規模スケーリングを実証しました。

    • 構造上の本質:単なるモデルサイズの更新にとどまらず、「エキスパートパラメータは多数のデバイスへ分散配置(シャーディング)しつつ、各トークンに対しては選択された計算パスのみを実行する」というアーキテクチャ上の重要な原則を確立しました。

    2. Switch Transformer:ルーティングの単純化(Top-1)

    Switch Transformer はルーティングアルゴリズムをさらに推し進め、Top-2 などではなく、各トークンを最もルーター確率が高い単一のエキスパートのみに送信する Top-1 ルーティング を採用しました。
    Top-1 ルーティングにおける出力は以下の数式で表されます:

    画像

    著者らが Top-1 を選んだ実践的な動機として、以下の3点が挙げられています:

    1. ルーティング計算量の削減

    2. エキスパートキャパシティ要求の縮小

    3. デバイス間通信の複雑性の低減

    3. 勾配パスの維持とキャパシティの概念化

    • 微分可能性の維持:どのエキスパートを選ぶか(\(i^\) の特定)自体は不連続な選択(ハード決定)ですが、選ばれた確率値 \(p_{i^}(x)\) がエキスパートの出力に乗算されるため、ルーターへ向けて微分可能な勾配パスが供給されます。

    • エキスパートキャパシティとトークンあふれ:Switch Transformer のTPU向け実装では静的なバッチ形状が用いられたため、各エキスパートが処理できるトークン数の上限である「エキスパートキャパシティ(Expert Capacity)」と、上限を超えたトークンが計算をスキップして残差接続へ回される「トークンあふれ(Token Overflow)」がシステム設計上の中心概念となりました。

    4. 注意点:「Top-1 = 常に最高」ではない
    資料では重要な指摘として、「Top-1 はよりシンプルである」という主張は「Top-1 が定常的に万能である」ことを意味しないと説明されています。後の優れたモデル(Mixtral の Top-2、DeepSeek-V3 や Qwen3 の Top-8 など)に見られるように、選択数 \(k\) はモデル設計やシステム制約に応じたアーキテクチャ上のトレードオフ領域です。


    The routing budget changes more than one number

    3行要約

    選択するエキスパートの数 k(ルーティング予算)の変更は、単にルーティングされる先の数を増やすだけでなく、計算量、通信量、メモリ、モデルの性質に多角的な影響を与えます。

    1. 選択数 k の増加はMoE層の計算量を増やすが、Attention等の他層が存在するためモデル全体のFLOPsがそのまま倍増するわけではない。

    2. 総エキスパート数 N はパラメータ容量を、選択数 k はトークンごとの計算量を制御し、両者は独立して設計される。

    3. Switch (Top-1)、Mixtral (Top-2)、DeepSeek-V3 / Qwen3 (Top-8) のように、現代モデルでは用途に応じた多様なルーティング予算が採用されている。

    Research anchors: [4], [9], [11], [14]

    1. ルーティング数 kの違いによる処理の特徴

    資料内の比較表では、k の違いによる挙動が以下のように整理されています:

    • Top-1(1つのエキスパートパス):ディスパッチ(配送)処理がシンプルで、トークンあたりのエキスパート計算コストが最も小さくなります。

    • Top-2(2つのエキスパートパス):2つの変換結果の重み付け混合となり、割り当て数が倍増します。

    • Top-k (k 個のエキスパートパス):\(k\) の増大に伴い、エキスパート計算量やデバイス間通信コストが比例して増大します。

    2. 全体FLOPsとパラメータ容量のスケーリングにおける違い

    • k を増やした場合(例:Top-1 → Top-2):各エキスパートのサイズが固定であれば、MoE層単体のFFN計算量は約2倍になります。ただし、Attention層、埋め込み(Embeddings)、層正規化(Norm)、共有エキスパートなどの計算量は変わらないため、モデル全体の総FLOPsが2倍になるわけではありません。

    • 総エキスパート数 N を増やした場合: k やエキスパートの形状を変えずに N(全エキスパート数)だけを大きくすると、1トークンあたりの計算コストをほぼ増やさずにモデル全体の保存パラメータ容量を大幅に拡大できます。しかし、ルーターのスコア計算コストd * Nが増大するほか、モデル全体のメモリ保持・シャーディング、分散実行の複雑さが増すというトレードオフが生じます。

    3. 現代の主要モデルに見る多種多様な設計例

    現代のLLMでは、ルーティング予算の設計は多岐にわたっています:

    • Switch Transformer:Top-1ルーティング(1個選択)。

    • Mixtral 8x7B:Top-2ルーティング(8個中2個選択)。

    • Qwen3-30B-A3B:全128個のエキスパートから8個を選択(Top-8)。

    • DeepSeek-V3:全256個のルーティング対象エキスパートから8個を選択(Top-8)+ 共有エキスパートパスを組み合わせる。

    4. 正しいメンタルモデル

    資料では以下のように概念がまとめられています:

    • (N)(全エキスパート数):エキスパートバンク(モデルの知識領域)全体の「大きさ」を制御する。

    • (k)(アクティブ数):1つのトークンがそのバンクからどれだけの「計算量」を使用するかを制御する。

    いずれか一方の数値だけで、レイテンシ、メモリフットプリント、あるいはモデルの性能(クオリティ)を一義的に測ることはできません。

    EXPERT CAPACITY(A static execution constraint, not the definition of MoE

    3行要約

    本章では、特に初期のMoEモデルや固定形状(静的バッチ)を求めるハードウェア環境で導入された「エキスパート・キャパシティ(Expert Capacity)」の概念と数式、そして「MoEの数学的定義との違い」が解説されています。

    1. エキスパート・キャパシティは、動的な負荷の偏りに対応するために設定される処理上限数である。

    2. キャパシティ・ファクターcfを増やすとあふれを防げるが、静的環境ではパディングやメモリの浪費につながる。

    3. キャパシティ設定は特定の実行設計に伴うポリシーであり、MoEの数学的定義そのものではない。

    Research anchors: [4], [7], [16]

    画像

    1. 動的ルーティングとキャパシティが必要とされる背景

    トークン単位の動的ルーティングでは、特定のエキスパートにトークンが集中し、他のエキスパートは空くという負荷の不均衡が発生します。静的なテンソル形状や固定メモリ割り当てを前提とする実行環境(特にTPUなどの初期実装)では、各エキスパートが処理できるトークン数の上限としてエキスパート・キャパシティ(C) を設定する必要がありました。

    2. Switch Transformer(Top-1)における計算式とキャパシティ・ファクター

    Top-1ルーティングを採用する Switch Transformer において、エキスパート1個あたりのキャパシティ (C) は次のように定義されます:

    画像

    (ここで (T) はルーティンググループ内の全トークン数、(N) はエキスパート数、(cf) はキャパシティ・ファクター〈Capacity Factor〉です)。

    • (cf = 1.0) の場合:全エキスパートの処理スロット数の合計が、ちょうど全トークン数 (T) と一致します。

    • (cf > 1.0) の場合:負荷の不均衡に対応するための余剰スロットを確保できますが、静的バッチ環境では使われないスロットのためにパディング(穴埋め)や無駄なメモリ・計算が発生します。

    3. 数式の一般化に対する注意点

    資料では、この Switch Transformer の数式をあらゆるMoEモデルに無条件に適用することに対して警告がなされています。Top-(k) ルーティングでは全割り当て数が (kT) に増えるため、フレームワークや論文によって (k) を式に組み込むかどうかの定義が異なります。また、キャパシティを計算する対象の範囲(スコープ)も、バッチ全体、ローカルルーティンググループ、あるいはエキスパート並列のランク(Rank)ごとなど、実装によって様々です。

    4. 本質的な結論:MoEの定義ではない

    資料内の重要ポイントとして、「エキスパート・キャパシティは特定のルーティングや実行設計に伴う実行ポリシーに過ぎず、MoEの数学的な定義(疎な選択的実行)そのものではない」 と強調されています。現代の動的実行環境では、固定のキャパシティ制限自体を回避する設計(Dropless executionなど)も一般的になっています。


    What a capacity factor actually buys

    3行要約

    章では、前章で解説されたキャパシティ・ファクター (cf) やエキスパート・キャパシティ (C) が、実際の数値計算においてどのような余剰バッファをもたらし、トークンのあふれ (Overflow) がどのように発生するのかを具体例を挙げて説明しています。

    1. トークン数 (1024) とエキスパート数 (16) の例で (cf = 1.25) とすると、キャパシティは (80) となり 25% の予備スロットが確保される。

    2. エキスパート3に (95) トークンが集中した場合、上限 (80) を超えた (15) トークンがあふれてエキスパート計算をスキップする。

    3. (cf) の調整は予備リソースの確保と不均衡リスクとのシステム的なトレードオフであり、(Top-1) 以外のモデルへそのまま適用してはならない。

    Research anchors: [4]


    1. 具体的な数値設定とキャパシティの計算

    Top-1ルーティングおよびSwitchスタイルのルーティンググループにおいて、以下の条件を仮定します。

    • トークン数 (T) = 1024

    • エキスパート数 (N) = 16

    • キャパシティ・ファクター (cf) = 1.25

    もしすべてのトークンが各エキスパートに均等に分配された場合、1つのエキスパートあたりの負荷は上式のようになります。これに対し、キャパシティ・ファクター (cf = 1.25) を考慮して設定される各エキスパートのキャパシティ (C) は下式のように算出されます。

    画像

    全16個のエキスパートを合わせると、システム全体で 16 × 80 = 1280 個のエキスパート処理用スロットが用意されます。実際に存在するトークン数は1024個であるため、この25%分の余剰スロット(256個分)がルーティングの偏り(負荷不均衡)に対するバッファとなります。

    2. トークンあふれ (Overflow) の具体的な発生例

    ここで、特定の1つのエキスパート(例:エキスパート3)に人気が集中し、95個のトークンが割り当てられた場合を考えます。

    設定された固定キャパシティは (C = 80) であるため、収容できるのは80個までです。あふれ出るトークン数は次のように計算されます。

    {あふれ数} = 95 - 80 = 15 \text{ トークン}

    Switch Transformerの処理ポリシーでは、このあふれた15個のトークンはエキスパートでの計算を行わず、そのまま残差接続 (Residual path) を通って次の層へ送られます。

    3. キャパシティ・ファクター設定のトレードオフ

    • (cf) を大きく設定する:あふれが発生する確率は下がりますが、静的に確保される計算量やメモリ消費量(無駄なパディング)が増大します。

    • (cf) を小さく設定する:リソースやメモリを節約できますが、特定の領域へ偏ったときにあふれ(計算スキップ)が発生しやすくなります。

    4. メンタルモデルと適用上の注意点

    キャパシティ・ファクターはモデルの品質を直接決める数値ではなく、「予備スロットの確保」と「不均衡による影響」のバランスを取るシステム上のトレードオフ設定です。

    また、本章の具体例は (Top-1) かつ Switch 固有の計算であり、(T / N * cf) という式をすべての (Top-k) MoE実装にそのまま適用してはならない点に注意が必要です。

    Overfl ow behavior is a design choice

    3行要約

    本章では、初期の固定キャパシティ型MoEモデルで導入された「トークン・ドロップ(計算のスキップ)」がMoEの本質的な制約ではなく、単なるシステム設計上の選択肢に過ぎないことが解説されています。

    1. 初期モデル(Switch等)の印象から「MoEはトークンをドロップする」と思われがちだが、ドロップは固定キャパシティの制約に過ぎない。

    2. MegaBlocksのブロック・スパースカーネルやDeepSeek-V3、Megatron Coreのデフォルト設定など、現代ではドロップなし(Dropless)実行が普及している。

    3. ルーティングの偏りは必ずしもトークンのドロップを意味せず、動的バッファやスパース演算などシステムに応じた対処法の選択肢の1つである。

    Research anchors: [4], [8], [11], [16]

    1. 歴史的背景と「MoEはトークンをドロップする」という誤解

    Switch Transformer などの初期の固定キャパシティ実装では、静的なエキスパートバッファ(上限数)を超えたトークンはエキスパートによる計算が行われず、そのまま残差接続(Residual connection)を通って次の層に送られていました。
    この歴史的経緯から「MoEモデルは本質的にトークンをドロップ(廃棄)するものだ」という誤った認識が広まりました。しかし、現代の技術・フレームワークの実証により、トークンドロップは必須の挙動ではないことが明白になっています。

    2. ドロップを回避する現代的なアプローチの例

    資料では、トークンドロップを行わない(Dropless)設計を実現した具体
    的な事例が挙げられています。

    • MegaBlocks:エキスパート計算を「ブロック・スパース(ブロック疎行列)演算」として再定式化しました。これにより、各エキスパートの不均一なトークン負荷をそのまま効率的に処理できるようになり、「トークンをドロップするか、全員を固定長までパディングするか」という二者択一を回避しています。

    • DeepSeek-V3:高度なロードバランシング(負荷平準化)手法により、学習中にトークンを一切ドロップしない設計を実現しています。また、推論時においてもノード制限ルーティング等を用いてドロップを回避する戦略が取られています。

    • NVIDIA Megatron Core:現代の標準的な分散学習フレームワークである Megatron Core では、エキスパートキャパシティ設定のデフォルトが (moe_expert_capacity_factor = None) となっており、デフォルトでトークンドロップを行わない動作が標準となっています。

    3. 「ドロップなし(Dropless)」のシステムコスト

    資料では重要な注意点として、「ドロップなし」は「コストゼロ」を意味しないと説明されています。トークンをドロップしない場合であっても、不均一に偏ったエキスパート負荷をメモリ上に表現し、通信し、スケジューリングして動的に計算を実行するためのシステムオーバーヘッドは存在します。

    4. 本質的な結論(不均衡 = トークン喪失 ではない)

    本章の最も重要な結論は、以下の関係性にまとめられます。
    {ルーティングの不均衡} ≠ {必須のトークンドロップ}
    ルーティングの偏り(負荷不均衡)をどのように処理するか(動的バッファを使うか、スパースカーネルで計算するか、パディングするか、あるいはキャパシティ制限を設けてドロップするか)は、システムの実行環境や目的に応じた「設計上の選択(Design choice)」に過ぎません。


    Why load imbalance can reinforce itself

    3行要約

    本章では、ルーターに適切な制約(バランスを促す調整力)を与えない場合に生じる「ルーティング崩壊(Routing Collapse)」のメカニズムと、負荷不均衡が引き起こす「最適化」および「システム」の2つの側面からの問題が解説されています。

    1. ルーターに制約がないと、選ばれたエキスパートだけが学習を進めてさらに選ばれる自己強化の悪循環が起きる。

    2. 負荷の偏りは、パラメータ容量が死蔵される「最適化問題」と、特定GPUが遅延原因になる「システム問題」を生む。

    3. バランス制御の真の目的は完全な均等化ではなく、有用な専門化を維持しつつ病的な崩壊を阻止することである。

    Research anchors: [2], [4], [11]

    1. 自己強化される悪循環(フィードバックループ)

    ルーターの学習において何の制御もかけないと、特定の少数のエキスパートへ選択が偏り始めます。この偏りは一度始まると自然に治まるのではなく、以下のように自己強化(Self-reinforcing) されていきます。

    1. 優先されたエキスパート:より多くのトークン処理を割り当てられるため、メインタスクからの勾配更新(学習シグナル)を頻繁に受け取り、急速に精度が向上します。

    2. ルーターの判断:性能が上がったエキスパートを「より優れている」と判断し、さらに多くのトークンをそのエキスパートへ集中させます。

    3. 放置されたエキスパート:学習シグナルをほとんど受け取れず、未学習(アンダートレーニング)な状態のまま取り残されます。

    この結果、最終的にごく一部のエキスパートしか機能しなくなる「ルーティングの崩壊」に至ります。

    2. 負荷不均衡が引き起こす2つの大問題

    負荷の偏りは、単に統計グラフ上の不揃いという表面的な話ではなく、モデルの学習と運用の両面に深刻な障害をもたらします。

    • 最適化上の問題(Optimization problem):
      モデル全体としてどれほど巨大なパラメータ容量を保持していても、実質的にその一部しか使われなくなります。使われないエキスパートはタスク損失から学べないため、パラメータの無駄遣いになります。

    • システム実行上の問題(Systems problem):
      エキスパートが複数のデバイス(GPUなど)に分散配置されている場合、最もトークンが集中した最も遅いデバイス(Straggler)によって全体のステップ時間が決まってしまいます。一部のデバイスが大量のトークン処理で過負荷になる一方、他のデバイスはアイドル状態(待機)になってしまいます。

    3. メンタルモデルとバランス制御の真の目的

    スパースルーティングは「どのエキスパートが学ぶか」と「どのエキスパートが選ばれるか」の間に強い相互作用を生み出します。
    資料では重要な注意点として、「全エキスパートへ完全に均一に割り当てること自体が学習の最終目的ではない」 と強調されています。特定のタスクやパターンに応じてエキスパートが異なる役割(専門化)を果たすこと自体は望ましい動作です。バランス調整手法(補助損失など)の真の目的は、機能的な専門化を損なうことなく、病的な崩壊(一部への極端な集中)を防ぐ点にあります。

    Importance and load are not the same quantiy

    3行要約

    本章では、初期のスパースMoE(Shazeerら、2017年)で導入された補助損失(Auxiliary losses)の定式化と、混同されやすい「重要度 (Importance)」と「負荷 (Load)」の根本的な違いについて解説されています。

    1. ゲート重みの和である「重要度 (Importance)」と、実際の処理トークン数である「負荷 (Load)」は異なる量である。

    2. 重み和が等しくてもトークン数が偏るとハードウェアの負荷がズレるため、初期のMoEでは両方の損失が必要とされた。

    3. 「バランス」の対象(確率質量・件数・デバイス負荷等)は多岐にわたり、現代ではSwitchやDeepSeek等でより洗練された手法へ進化している。

    Research anchors: [2], [4], [11]

    1. 「重要度 (Importance)」の定義と損失関数

    Shazeerらの初期論文では、まずエキスパートの「重要度」をバッチ (X) 内の全トークンにおけるゲート値 (G(x)) の総和として定義しました。

    画像

    そして、各エキスパートの重要度の変動係数 (CV = 標準偏差 / 平均) の2乗にペナルティを科す「重要度損失 (L_importance)」を導入しました。

    画像

    2. なぜ「重要度」の平準化だけでは不十分なのか(ハードウェア視点)

    確率質量の和である「重要度」を揃えるだけでは、システム上の不均衡を防止できません。
    例えば、あるエキスパートが「ごく少数のトークンから非常に大きな重み」を受け取る一方、別のエキスパートが「大量のトークンからごく微小な重み」を受け取ったとします。

    この場合、重要度(ゲート重みの総和)は等しく見えても、GPUなどのハードウェアが実際に処理すべきトークンの行数(データ転送量や行列計算の回数)は全く異なります。そのため、Shazeerらはトークンの割当件数(ハードな処理件数)に着目した「負荷 (Load)」側の目的関数も別途用意する必要がありました。

    3. 「ルーターのバランス」という言葉の曖昧さ

    この歴史的経緯から得られる重要な教訓は、「ルーターをバランスさせる」という表現自体が曖昧であるという点です。バランス手法を評価する際は、以下のどれを平準化しようとしているのかを意識する必要があります:

    • 確率質量(Softmaxやアフィニティの総和)

    • ハードなトークン割当件数

    • デバイス(GPU/TPU)ごとの計算・通信負荷

    • シーケンス(文脈)ローカルな負荷

    4. 現代モデルにおける発展と簡略化

    このような多重の補助損失は、後続の研究で整理・簡略化されていきました。

    • Switch Transformer:割り当て割合と平均確率を掛け合わせた単一の微分可能な代替損失(Auxiliary loss)を採用しました。

    • DeepSeek-V3:補助損失を競合させず、動的なルーティング・バイアス調整によってバッチレベルのバランスを制御する手法を採用しています。

    A differentiable pressure toward uniform expert use

    3行要約

    本章では、Switch Transformer(Top-1ルーティング)で導入された単一でエレガントな補助損失(スイッチング・バランシング損失)の定式化と、それがどのように「微分不可能」な離散選択を「微分可能」な学習シグナルへ結びつけるのかが解説されています。

    1. Switch Transformerの補助損失は、実際の割当割合 (f_i) と平均確率 (P_i) の積で定式化される。

    2. 微分不可能な割当割合 (f_i) に微分可能な平均確率 (P_i) を掛け合わせることで、偏りを抑制する微分可能な圧力を生み出す。

    3. 均一なバランス時の基準値は 0 ではなく 1.0 に規準化されており、本数式は Top-1 ルーティング固有の設計である。

    画像

    Research anchors: [4]

    1. Switch Transformerにおける補助損失の定式化

    Top-1ルーティングにおいて、Switch Transformerは以下の数式で補助損失 (L_{aux}) を定義します。

    画像

    ここで用いられる各項の意味は以下の通りです:

    • (N) は全エキスパートの数です。

    • (\alpha) は補助損失のハイパーパラメータ(重み)です。

    • (f_i) はバッチ内の全トークン (T) のうち、実際にエキスパート (i) に割り当てられた(ルータースコアが最大となった)トークンの割合(ハードな割り当て比率)です。

    • (P_i) はバッチ内の全トークンにおけるエキスパート (i) へのルーター確率 (p_i(x)) の平均値(平均確率)です。

    それぞれの構成式は次のように計算されます。

    画像

    2. なぜこの積が機能するのか(微分可能性の獲得)

    実際に選択された件数の割合を示す (f_i) は「最も値が大きいものを選ぶ (arg max)」という不連続な操作に基づくため、微分ができません。
    一方で、ルーターが出力する確率の平均値である (P_i) は連続的であり、ルーターの重みパラメータに対して直接微分可能です。

    この2つの積 (f_i \times P_i) を取ることで、「実際に多くのトークンを集めてしまったエキスパート (f_i が大)」に対してルーターがさらに高い確率 (P_i) を割り当てようとすると損失ペナルティが急増するという「微分可能な圧力」を作り出しています。

    3. 具体的な数値例での比較

    4つのエキスパート (N = 4) が存在する場合の計算例を考えます。

    • 負荷が不均衡な場合:
      (f = [0.50, 0.25, 0.25, 0])、(P = [0.40, 0.30, 0.20, 0.10]) と仮定します。
      総和 (N \sum f_i P_i) を計算すると、4 × (0.50×0.40 + 0.25×0.30 + 0.25×0.20 + 0×0.10) = 4 × 0.325 = 1.30 となり、損失は (1.30 \alpha) となります。

    画像

    完全に均一にバランスされている場合:
    (f = P = [0.25, 0.25, 0.25, 0.25]) と仮定します。
    総和 は、4 × (4 × 0.0625) = 1.00 となり、損失は (1.00 \alpha) となります。

    画像

    4. 基準値と適用上の注意点

    • 基準値はゼロではない:完全に均一な状態であっても損失の値は 0 ではなく (1.00 \alpha)(スケーリング係数 (N) によりエキスパート数によらず1.0に保たれる)となります。

    • Top-1 固有の設計:この数式は Switch Transformer の Top-1 設定に合わせて設計されたものです。割り当ての定義やバランスの評価基準が異なる他のルーティング方式(Top-k や Sigmoid ルーティング等)へそのまま移植してはならない点に注意が必要です。


    Stability is a different problem from load balance

    3行要約

    本章では、ルーターの数値的・学習的安定性を維持するために導入された「ルーター z-loss(Router z-loss)」の定式化と、それがなぜ「ロードバランス(負荷平準化)」とは全く別の独立した課題であるのかが解説されています。

    1. ルーター z-loss (L_z) は、ルーター・ロジットの過大化を抑え、Softmaxの分母を制御して数値的安定性を保つ。

    2. 全体損失 (L_{total} = L_{CE} + c_{LB} L_{LB} + c_z L_z) において、ロードバランス損失とは目的の異なる独立した項として並存する。

    3. ロードバランスが「負荷の分配」を制御するのに対し、z-loss は「数値のスケール」を制御する別個の課題である。

    Research anchors: [7]

    1. ルーターの数値的・学習的安定性の問題

    MoEのルーター計算には指数関数(Softmaxなど)や離散的なルーティング決定が含まれているため、ルーターが出力するロジット(未正規化スコア)の絶対値が大きくなりすぎると、数値的なオーバーフローや勾配の爆発といった学習の不安定化(Instability)を引き起こすリスクがあります。

    2. ST-MoEで提案されたルーター z-loss の定式化

    この問題に対処するため、ST-MoE(Zoph et al., 2022)において「ルーター z-loss (L_z)」が導入されました。
    (B) 個のトークンからなるバッチにおいて、全 (N) 個のエキスパートに対するルーター・ロジットベクトルを (x) とすると、z-loss は以下のように定義されます。

    画像

    この損失関数は、ログ・ノーマライザー(Softmaxの分母の対数値)が過大になることにペナルティを科し、ルーター・ロジットのスケールを小さく保つように作用します。勾配クリッピング(Update clipping)を厳しく調整する手法と比較して、モデルの出力クオリティを損なうことなく学習の安定性を向上させたと報告されています。

    3. 全体損失における3つの項の独立性

    ST-MoEにおける全体の学習目的関数は、以下のようにメインの言語モデル損失、ロードバランス損失、および z-loss をそれぞれ独立した係数で結合した形をとります。

    画像
    • ロードバランス損失 (L_{LB}):トークンが各エキスパートへどのように分散されるか(負荷の偏り)を調整します。

    • ルーター z-loss (L_z):数値的・学習的安定性のためにルーター・ロジットのスケール(大きさ)を制御します。

    これらは解決しようとしている課題が異なるため、同一の目的関数内で共存します。

    4. 本質的な結論:2つの課題の区別

    資料では重要な注意点として、「z-loss を単なる『もう1つのロードバランス損失』と呼ぶことは、その本質的な目的を見失わせる誤りである」 と強調されています。
    ルーターは、ロジットの数値が小さく安定していても負荷が著しく偏っている場合もあれば、逆に各エキスパートへの負荷が完全に均一であってもロジットのスケールが暴走して不安定になる場合もあります。


    Token choice is common, not mandatory

    3行要約

    本章では、標準的な「トークンがエキスパートを選ぶ」ルーティング(Token-choice Top-k)以外のオルタナティブな割当方式である「BASE Layers」や「Expert Choice」が紹介され、スパースMoEが単一のルーティングアルゴリズムに縛られない多様な設計空間を持つことが解説されています。

    1. MoEは「トークンがエキスパートを選ぶ」方式が一般的だが、BASE Layers や Expert Choice など選択の向きや構造を変えた手法が存在する。

    2. Expert Choice はエキスパート側がトークンを選ぶことで負荷(キャパシティ)を構造的に固定し、トークンごとの処理数を可変にする。

    3. ルーティングの変更は負荷平準化だけでなく、因果性や実装等にトレードオフをもたらすため「バランス性」だけで優劣は決まらない。

    Research anchors: [5], [6]

    1. トークン選択型(Token-choice)の位置付け

    一般的な MoE で用いられる Top-k トークン選択型ルーティングは、「各トークンが自身を処理させたい (k) 個のエキスパートを指名する」というアプローチです。
    非常に直感的ですが、エキスパートごとの負荷(処理トークン数)が変動しやすく、負荷の不均衡やトークンのあふれといった問題を生み出す要因にもなります。

    2. BASE Layers:最適化問題としての線形割当

    BASE Layers は、トークンとエキスパートの割当を「平衡線形割当問題(Balanced Linear Assignment Problem)」として再定式化しました。
    全トークンと全エキスパートの割り当てをグローバルに最適化することで、構造的に全エキスパートへ完全に均等な数のトークンを分配します。そのため、ルーティング崩壊を防ぐための補助バランス損失(Auxiliary loss)を追加する必要がありません。

    3. Expert Choice:エキスパート主導のトークン選択

    Expert Choice は選択の向きを完全に逆転させ、「各エキスパートが自身に割り当てる上位スコアのトークンを選ぶ」というアプローチを取ります。

    • エキスパート視点:各エキスパートが受け取るトークン枠(バケットサイズ)が固定されるため、エキスパートの処理容量(キャパシティ)が構造的に一定となり、負荷不均衡やパディングの無駄が生じません。

    • トークン視点:トークンごとに選ばれるエキスパートの数が可変(ある重要トークンは複数のエキスパートに選ばれ、別のトークンは選ばれない)となります。

    4. 資料内の表にみる3つの手法の比較

    画像

    5. 本質的な結論:バランスの実現とトレードオフ

    これらの代替アプローチは、スパースMoEが単一の固定されたルーティングアルゴリズムではなく、「条件付き計算(Conditional Computation)」を実現するためのアーキテクチャの多様なファミリーであることを示しています。

    ただし、資料では重要な注意点として 「負荷が完璧に平準化されるルーティングであっても、それが自動的に他のすべての面で優れているとは限らない」 と強調されています。
    ルーティング構造の変更は、トークンのカバー率、因果性(Causality)、バッチ処理、実装の複雑さなどに異なる影響を及ぼすため、トレードオフを総合的に評価する必要があります。


    Block-sparse kernels change the capacity trade-off

    3行要約

    本章では、MegaBlocksに代表される「ブロック疎行列(Block-sparse)カーネル」の登場によって、ハードウェアの実行効率とキャパシティ設定のトレードオフがどのように根本から変わったのかが解説されています。

    1. GPUなどのDenseアクセラレータは規則的な計算を好むため、従来はパディングやトークンドロップで不均一な負荷に対処していた。

    2. MegaBlocksはエキスパート計算を「ブロック疎行列GEMM」に再定式化し、トークンをドロップもパディングもせず不均一なまま高速処理することに成功した。

    3. MoEのアルゴリズムとカーネルは密結合しており、数式上の美しさだけでなくハードウェアへの効率的なマッピングが実効性能を決定づける。

    Research anchors: [8], [16]

    1. 動的ルーティングとハードウェア(Denseカーネル)のミスマッチ

    動的MoEでは本質的に各エキスパートへ割り当てられるトークン数が不均一になります。しかし、GPUなどの高密度アクセラレータ用カーネルは、規則的で十分に大きな行列演算(Dense GEMM)において最も高い計算効率を発揮します。

    このミスマッチを解決するため、従来の実行環境(Switch Transformerなど)では「固定キャパシティを設定してあふれたトークンをドロップする」か「全員を同じサイズまでパディング(穴埋め)して巨大な固定行列を作る」という二者択一を迫られていました。

    2. MegaBlocksによる解決:ブロック疎行列GEMMへの再定式化

    MegaBlocksは、このミスマッチにアルゴリズム層ではなく「カーネル層」からアプローチしました。エキスパートのFFN計算を「ブロック疎行列(Block-sparse)演算」として表現することで、トークン数の偏りを保持したまま効率的に行列計算を実行できる手法を開発しました。

    これにより、計算の実行フローは以下のように変化します。

    画像

    {割り当てトークン} → {エキスパートごとのグループ化} → {ブロック疎行列GEMM(不均一なトークン数を維持)}
    このアプローチにより、数式上のMoEモデルを変更することなく、「トークンを捨てる(ドロップ)」か「パディングで計算資源を浪費する」かという制約を解消しました。

    3. 現代のプロダクション・フレームワークにおける位置付け

    現在では、この「ドロップなし(Dropless)」の実行技術が広く浸透しています。例えば、NVIDIA Megatron Core などの主要な分散学習フレームワークでは、キャパシティ設定のデフォルト値が (moe_expert_capacity_factor = None) となっており、標準でトークンをドロップしない挙動がサポートされています。

    4. アルゴリズム設計とカーネル設計の密結合(メンタルモデル)

    本章が示す最も重要な知見は、「MoEのアルゴリズム設計」と「GPUカーネルの設計」は密接に結合しているという点です。
    どれほどルーターの数式や理論が優れていても、それによって生じる不均一なワークロードがハードウェア上で効率的に実行できなければ、実際の運用上は高コストなモデルになってしまいます。

    DeepSeekMoE changes the expert bank itself

    3行要約

    本章では、DeepSeekMoEが提案した「細粒度エキスパート(Fine-grained experts)」と「共有エキスパート(Shared experts)」という2つの構造的イノベーションについて解説されています。従来のMoEが「既存のエキスパートバンクからどうルーティングするか」に焦点を当てていたのに対し、DeepSeekMoEは「エキスパートバンクそのものの構造」を再設計しました。

    1. DeepSeekMoEはエキスパートを細分化(m × N 個から m × K 個を選択)し、計算量を維持したまま選択肢の組み合わせ空間を大幅に拡大した。

    2. 常に実行される「共有エキスパート」を分離することで共通知識の重複を防ぎ、ルーティング・エキスパートの専門化を促した。

    3. 共有エキスパートの存在により、単に「Top-8」などのルーティング数だけでは全体のFFN計算量を正確に測れない。

    Research anchors: [10], [11]

    1. 細粒度エキスパート化(Fine-grained Expert Segmentation)

    従来のMoEでは、N 個のエキスパートから K 個を選択していました。DeepSeekMoEでは、1つあたりのエキスパートのパラメータサイズを小さく分割し、m × N 個の細かなエキスパート群から m × K 個を選択する設計をとります。

    これにより、1トークンあたりの総計算量やアクティブパラメータ数を一定に保ったまま、ルーティングの組み合わせパターンを飛躍的に増大させることができます。

    組合せ数学(コンビナトリクス)の例として、8個のエキスパートから2個を選ぶ場合と、それらを16個の細かなエキスパートに分割して4個を選ぶ場合を比較します。

    画像

    このように組み合わせのパターン数が28通りから1820通り(約65倍)へと増大します。
    (※資料では、これが「65倍賢くなる」ことを意味するわけではなく、ルーターが表現できる選択肢の組み合わせ空間が大幅に広がることを示していると補足されています。)

    2. 共有エキスパートの分離(Shared Expert Isolation)

    従来のMoEでは、全エキスパートがルーティングの対象(ルーターの奪い合い)となっていました。そのため、各エキスパートが共通して必要とする全般的な知識(共通表現や言語の基本構造など)まで個々のエキスパート内に重複して学習される「冗長性」が発生していました。

    DeepSeekMoEでは、一部のエキスパートをルーティング対象から外し、すべてのトークンに対して常に実行される「共有エキスパート(Shared experts)」として独立させました。

    • 共有エキスパート:モデル全体の共通知識・共通表現を担当する。

    • ルーティング・エキスパート:特定領域の専門知識やコンテキストに絞って疎に活用される。

    3. DeepSeek-V3 への継承とアクティブ計算量のカウント注意点

    この設計思想は DeepSeek-V3 にも引き継がれており、選択された8つのルーティング・エキスパート(Top-8)に加えて、常に実行される共有エキスパートの計算が加算されます。

    資料では重要な注意点として、「共有エキスパートの存在により、アクティブパラメータ数の計算方法が変わる」 ことが指摘されています。トークンはルーティングされたエキスパートだけでなく共有エキスパートも通過するため、単に「Top-8」とだけ書かれていても、それがFFN計算のすべてを表しているわけではない点に注意が必要です。

    What DeepSeek-V3 actually means by “loss-free”)

    3行要約

    本章では、DeepSeek-V3が導入した「動的ルーティング・バイアス」によるバッチレベルのロードバランシングと、論文が主張する「補助損失なし(Auxiliary-Loss-Free)」の正確な意味合いが解説されています。

    1. DeepSeek-V3は選択時にのみバイアス (s_{i,t} + b_i) を加え、出力重みには本来のアフィニティ (s_{i,t}) のみを用いる。

    2. ステップごとにバイアス (b_i) を動的調整することで、言語モデル損失と競合するバッチレベルの補助損失を排除した。

    3. 完全に損失ゼロではなく、シーケンス内部の偏りを防ぐ微小なシーケンス単位のバランス損失は併用されている。

    Research anchors: [11]

    1. 動的ルーティング・バイアスによるTop-K選択

    DeepSeek-V3のルーティング・エキスパートでは、トークンとエキスパート間のシグモイド親和性(アフィニティ)を (s_{i,t}) とし、各エキスパートに学習可能なルーティング・バイアス (b_i) を持たせます。

    Top-K選択(どのエキスパートを選ぶか)の判定には、バイアスを加算したスコアが使用されます。

    {選択用スコア} =

    画像

    しかし、選ばれたエキスパートの最終出力に乗算される重み(出力重み)には、バイアスを含めない本来の親和性 (s_{i,t}) のみが使用されます。

    2. バイアスの動的調整メカニズム

    トレーニングステップの終了ごとに、過負荷(トークンが集まりすぎ)になったエキスパートのバイアス (b_i) は減少させられ、逆に低負荷(トークンが不足)のエキスパートのバイアスは増加させられます。

    これにより、エキスパートの出力重み(モデル本来の学習表現)に直接干渉することなく、「誰が選択されるか」の機会のみを動的にコントロールします。

    3. 「補助損失なし(Loss-Free)」の真の意味

    従来のロードバランシングでは、メインの言語モデル損失(タスク損失)と競合するバッチレベルの補助損失(Auxiliary Loss)を最小化させる必要がありました。

    DeepSeek-V3は、このバッチレベルの負荷平準化を動的バイアス調整で代替したため、言語モデル本来の目的関数と競合するバッチレベル補助損失を排除できたという意味で「補助損失なし(Auxiliary-Loss-Free)」と呼んでいます。

    4. 正確な理解と重要な補足

    資料では「DeepSeek-V3は一切のバランス損失を使わない」と誤解してはならないと注意を促しています。

    DeepSeek-V3は、個々のシーケンス内部での極端な偏りを防ぐため、係数が極めて小さい補助的な「シーケンス単位のバランス損失(sequence-wise balance loss)」を依然として併用しています。
    正確には、「主要なバッチレベルのバランス戦略がバイアス調整方式であり補助損失なし(auxiliary-loss-free)で実現されているが、微小なシーケンス単位のバランス損失は残されている」と理解するのが適切です。


    The most abused MoE comparison

    3行要約

    本章では、MoEモデルの性能や規模を議論する際によく引き合いに出される「総パラメータ数(Total parameters)」と「アクティブパラメータ数(Active parameters)」という2つの数値の定義の違いと、それらの比較において生じやすい代表的な誤解が解説されています。

    1. 総パラメータ数は全保持重みの総和(メモリ容量に影響)であり、アクティブ数は1トークンで計算に使う重み数である。

    2. Mixtral 8x7B(総47B/アクティブ13B)のように差は大きいが、アクティブ数はVRAM使用量や推論速度の直接の指標にはならない。

    3. トークン単位で疎であってもサービングシステムには全エキスパートの保持が必要であり、性能はカーネルや通信等に依存する。

    Research anchors: [9], [11], [14], [16]

    1. 2つのパラメータ数の定義

    MoEモデルの規模を表す際、以下の2つの数値が区別して使われます。

    • 総パラメータ数 (Total parameters):
      アテンション層、高密度(Dense)層、埋め込み層、ルーター、共有エキスパート、およびルーティング対象となる全エキスパートバンクに含まれるモデル全体の重みの総和です。モデルのチェックポイント容量、メモリ保持量、シャーディング(分割配置)、モデル読み込み、および通信量に直接影響します。

    • アクティブパラメータ数 (Active parameters per token):
      1つのトークンの順伝播(Forward pass)時に実際に計算に使用されるパラメータのサブセットです。MoE層で選択されたエキスパートパスや共有エキスパート、および共通のDense部分が含まれます。

    2. Mixtral 8x7B に見る具体例と注意点

    この違いの典型例として Mixtral 8x7B が挙げられます。Mixtral 8x7B の総パラメータ数は 47B(470億)ですが、1トークンあたりのアクティブパラメータ数は 13B(130億)です。
    しかし、Mixtral の論文自体が強調しているように、「アクティブパラメータ数が 13B だからといって、重みメモリのコストやハードウェア利用率が 13B の高密度モデルと同等になるわけではない」という点に十分注意する必要があります。

    3. トークン単位とバッチ単位の違い

    個々のトークン視点ではごく一部のエキスパート(例:Top-2)しかアクティブになりませんが、大きなバッチサイズ(Batch)で処理する場合、トークンAはエキスパート1と4を選び、トークンBはエキスパート2と7を選ぶといった現象が起きます。その結果、バッチ全体としてはほぼすべてのエキスパートが同時に使用されることになります。

    4. 最も誤解されやすいポイント(メンタルモデル)

    本章で最も強く警告されているのは、「トークンあたりのアクティブパラメータ数が少ないこと」を「推論に必要なメモリが少なくて済む」あるいは「推論が高速(低レイテンシ)である」と無条件に同義とみなす誤解です。

    サービング環境においては、1つのトークンが一部のエキスパートしか使わないとしても、モデル全体としては分散配置された全エキスパート重みをVRAM(メモリ)上に保持し続けなければなりません。実際の推論レイテンシは、アクティブパラメータ数だけでなく、GPUカーネルの効率、重みのメモリ転送速度、ルーター処理、デバイス間通信、バッチ形状など多角的な要素に依存します。


    More stored expert capacity without more expert work in a toy layer

    3行要約

    本章では、単純化された2行列のFFN構造(バイアス項は省略)からなるトイ・モデルを用いて、1トークンあたりのエキスパート行列の計算パラメータ数を増やすことなく、モデル全体に保存されるエキスパート容量を4倍に拡大する具体的な数値計算の手順が示されています。

    1. Dense FFN (d_ff=4096) は約839万パラメータを毎トークンで使用する。

    2. 半分の幅 (d_ff=2048) のエキスパート8個でMoE化すると、保持容量は4倍 (約3355万) になるが、Top-2 選択時のアクティブ数 (約839万) はDenseと一致する。

    3. トークンあたりの計算量を増やさずに保持容量を拡大できるが、現実の実行速度は通信やカーネル効率等にも依存する。

    Research anchors: [2], [4], [9]

    1. 高密度(Dense)モデルの基準値(ベースライン)

    モデルの次元数 (d_model = 1024)、FFNの中間層の次元数 (d_ff = 4096) を持つ一般的な高密度FFN層を考えます。
    2つの重み行列によるパラメータ総数は以下のように計算されます。

    画像

    この高密度層では、通過するすべてのトークンがこの約839万パラメータを毎回そのまま使用します。

    2. 8個の小規模エキスパートを持つMoE層の構築

    次に、中間層の幅を半分 (d_ff = 2048) に縮小した小規模エキスパートを8個 (N = 8) 用意してMoE層を構成します。
    エキスパート1個あたりのパラメータ数は以下のようになります。
    全8個のエキスパートバンク全体で保存されるパラメータの合計値は、以下のようになります。

    画像

    これにより、モデルに保持されるエキスパート重みの総容量は、高密度ベースラインのちょうど4倍に拡大します。

    3. Top-2 ルーティング時のアクティブ計算量とルーターのコスト

    このMoE層において、各トークンが Top-2 ルーティング (k = 2) により2つのエキスパートを選択して実行されると仮定します。
    1トークンが通過する際にアクセスされるエキスパート行列のパラメータ数は以下の通りです。

    画像

    この数値は、最初に算出した高密度ベースラインのパラメータ数 (8,388,608) と完全に一致します。
    また、トークンを振り分けるルーター行列のパラメータ数は以下のように非常に小規模です。

    画像

    したがって、ルーターのわずかなオーバーヘッドを除けば、1トークンあたりのエキスパート行列計算量を全く増やすことなく、モデル全体の保持パラメータ容量を4倍にスケールアップできたことが数値的に実証されます。

    4. 本質的な意図と現実のLLMでの注意点

    資料では重要な注意点として、「この算術的計算例は概念を説明するためのイラストレーションであり、実際の実行速度(ウォールクロック時間)の向上を保証するものではない」 と説明されています。

    実際のLLMでは、SwiGLUのような3つの射影行列を持つゲート付きFFN構造、共有エキスパート、パディング、量子化、通信コスト、および融合カーネル(Fused kernels)などが組み合わされます。そのため、アクセスするパラメータ数が同等であっても、実際の推論レイテンシや処理時間が同等になるとは限らない点に留意する必要があります。


    The router exists in both phases, but the problems differ

    3行要約

    本章では、学習時(Training)と推論時(Inference)の両方でルーターが機能しているものの、それぞれのフェーズで直面するシステム的・構造的な課題が全く異なる点が解説されています。

    1. 学習時は勾配の逆伝播や補助損失が存在し、エキスパートの選択数と各エキスパートの学習量が相互に影響し合う。

    2. 推論時(デコード時)は小バッチだと個別エキスパートへのトークン数が激減してGEMM効率が落ちるため、サービング上の工夫が必要になる。

    3. トークンの隠れ表現は層ごとに変わるためレイヤー別に異なるエキスパートが選ばれ、単にスパースなだけでは推論が自動的に高速化するわけではない。

    Research anchors: [2], [9], [11], [16]

    1. 学習時(Training)のルーターと動的なダイナミクス

    学習時においては、大量のトークンがまとめてルーティングされ、選択されたエキスパートの計算とルーターの重みを経由して勾配(Gradient)が逆伝播します。

    • 局所的な学習シグナル:各エキスパートは、そのステップで自分を選択して通過したトークンからのみメインタスクの勾配を受け取ります。

    • 補助損失による調整:ロードバランス損失や z-loss などの補助損失が存在する場合、ルーター固有の学習シグナルが追加されます。

    • バッチレベルの動的フィードバック:エキスパートの活用度(どれだけ選ばれたか)がそのエキスパートの学習速度や量に直結し、同時に現在のルーターの判断が各エキスパートに与えられるデータ分布を左右するという、学習上の相互依存関係(フィードバックループ)が生じます。

    2. 推論時(Inference / Decode)のルーターとサービングの課題

    推論時には逆伝播を行わず、学習専用の補助損失も計算されませんが、ルーターによる判定、トークン状態のディスパッチ、エキスパートの実行、および出力の結合処理自体は引き続き実行する必要があります。

    • 自己回帰生成における単一トークン問題:テキストの生成(Autoregressive decode)では、1つのシーケンスにつき1ステップで1トークンずつ処理されます。

    • 小規模GEMMとカーネル効率の低下:多数のリクエストをまとめない(小バッチサイズの)場合、個々のエキスパートに届くトークン数が極めて少なくなり、エキスパートの行列計算(GEMM)が小さく不効率になります。

    • 大規模サービングバッチの必要性:サービング(推論提供)時にバッチサイズを大きくすることで演算密度(Arithmetic Intensity)を高められますが、同時にルーティングや負荷の偏りを効率的に管理することがより重要になります。

    3. レイヤーごとの動的パス選択

    ルーティングはモデル全体で一括して決まるのではなく、レイヤーごとに独立して行われます。
    生成されたトークンは、ネットワークの層を深めるにつれて隠れ表現(Hidden representation)が変化するため、浅いレイヤーで選ばれたエキスパートと深いレイヤーで選ばれたエキスパートが異なるセットになることも一般的です。

    4. 本質的な結論(誤った演繹への警告)

    資料では重要な注意点として、**「MoEの学習がスパースであるからといって、推論が自動的に高速になるわけではない」**と強調されています。
    スパースな算術計算(アクティブパラメータの小ささ)が実際の推論性能に結実するのは、サービングシステムの実装がルーティングによって生じる疎なアクセスパターンをハードウェア上で効率的に活用できた場合に限られます。


    Dispatch, compute, combine

    3行要約

    本章では、大規模なエキスパートバンクを複数のデバイス(GPU等)へ分散配置して並列実行する「エキスパート並列(Expert Parallelism)」の仕組みと、通信を伴う6つの実行ステップが解説されています。

    1. 大規模エキスパートを複数GPUに分散配置するエキスパート並列では、ルーターが選んだエキスパートが別デバイスに存在する。

    2. ディスパッチ(All-to-All転送) -> エキスパート計算 -> コンバイン(All-to-All逆転送・結合)のフローで分散実行される。

    3. エキスパート並列は分散システム上の実行戦略であり、MoEの数学的定義そのものではない。

    Research anchors: [3], [11], [16]

    1. なぜエキスパート並列(Expert Parallelism)が必要なのか

    大規模なエキスパートバンクは、単一のGPUメモリに収まらない場合や、1台では十分な計算効率が得られない場合があります。そこで、エキスパートを複数のデバイスへ分割配置する「エキスパート並列」が用いられます。これにより、ルーターが選択したエキスパートが物理的に離れた別のデバイス上に存在する状況が発生します。

    2. 分散実行における6つのステップとデータフロー

    エキスパート並列環境における標準的な実行パターンは、以下の6つのステップで進行します。

    1. ルーティング計算:各トークンのルーティングインデックスと重みを算出する。

    2. パーミュート(並べ替え):送信先のエキスパートごとにトークン状態をグループ化・並べ替える。

    3. ディスパッチ通信(All-to-All):トークンデータを、該当エキスパートを保持するデバイスへ転送する。

    4. エキスパート計算(Compute):転送先デバイスで、グループ化されたGEMM(行列乗算)などを用いてFFN計算を実行する。

    5. コンバイン通信(All-to-All):計算されたエキスパート出力を元のデバイスへ送り返す。

    6. アンパーミュート・結合:受け取った出力を元のトークン順序へ復元し、重み付け結合する。

    全体の一連の処理フローは、以下のように表されます。

    画像

    3. プロダクション・フレームワークでの実装

    NVIDIA Megatron Core などの分散学習フレームワークでは、All-to-All や AllGather などの柔軟なトークン・ディスパッチャ(Dispatcher)バックエンドが実装されています。これにより、エキスパート優先の並べ替え(Expert-major reordering)やデバイス間通信が効率的に処理されます。

    4. 本質的な結論(MoEの定義との区別)

    本章で最も重要なポイントは、「エキスパート並列は分散システム上の実行戦略に過ぎず、MoEの数学的定義そのものではない」 という点です。
    単一のGPU上に収まる小規模なMoEモデルであれば、デバイス間通信を一切行わずにMoE層を実行することが可能です。


    Why fewer active parameters can still run badly

    3行要約

    本章では、1トークンあたりのアクティブパラメータ数(計算パスの長さ)を小さく抑えても、実効的な処理速度(推論・学習のウォールクロック時間)が自動的には上がらない理由と、競合する5つの主要なシステムコストが解説されています。

    1. アクティブパラメータ数は計算パスの長さを示しているに過ぎず、ハードウェアの実効性能(速度)を直接保証するものではない。

    2. 行列サイズの縮小、All-to-All通信、メモリ帯域、負荷不均衡、ルーティングオーバーヘッドが競合コストとして発生する。

    3. 実質速度の向上には、Grouped GEMMや通信と計算のオーバーラップなど、システム・カーネル設計との共創(Co-design)が不可欠である。

    Research anchors: [2], [8], [9], [11], [16]

    1. アクティブパラメータ数と実効性能の乖離

    アクティブパラメータ数は、あくまで数理モデル上の「重みを通過する計算パスの長さ」を表しているに過ぎません。
    実際にハードウェア(GPU/TPUなど)上で高速に動作するかどうかは、そのパスを「巨大で、ローカル(単一デバイス内)で、バランスの取れた」計算操作として実行できるかどうかに依存します。

    2. 実効性能を阻害する5つのシステムコスト

    スパース計算の導入によって計算量が削減される一方で、以下の5つのコストがボトルネックとなります。

    1. エキスパートGEMMサイズの縮小(Shrinking-batch problem):
      多数のエキスパートにトークンが分散されると、1つのエキスパートが処理する行列サイズが小さくなり、アクセラレータの演算器の利用効率が低下します。

    2. デバイス間通信コスト(Communication):
      エキスパート並列環境では、トークン状態や計算結果を All-to-All 通信でデバイス間に転送する必要があります。計算量に対して通信量の割合が高くなると、通信速度が全体のボトルネックになります。

    3. 重み移動とメモリ帯域幅(Weight movement):
      1トークンあたりの選択数が少なくても、バッチ全体で見れば多様なエキスパートが呼び出されます。特にバッチサイズが小さい環境(推論時など)では、メモリ帯域幅や重みの常駐性が性能を左右します。

    4. 負荷の不均衡(Load imbalance):
      最も処理が遅いエキスパートやRank(ストラグラー)の処理時間が全体のステップ時間を決定づけてしまいます。

    5. ルーティングとパーミュート(並べ替え)のオーバーヘッド:
      スコア計算、Top-k選択、メタデータ構築、データ並べ替え(Permutation)、結合(Combine)操作自体にも実行時間がかかります。

    3. 現代のシステムによる解決策

    現代のプロダクションシステム(例えば DeepSeek-V3 など)では、Grouped GEMM、ブロック疎行列カーネル、トポロジを意識したルーティング、融合ディスパッチ(Fused dispatch)、計算と通信のオーバーラップなどの高度な技術を組み合わせてこれらのシステムコストに対処しています。


    Do experts become “math experts” and “code experts”?

    3行要約

    本章では、MoEの各エキスパートが「数学」や「コード」といった人間にとって直感的に理解しやすい特定のドメインや概念を分担・学習するのかについて、研究データに基づいた解説がなされています。

    1. エキスパートが「数学担当」「コード担当」といったドメインごとに綺麗に分離するという見方は研究で否定されている。

    2. Mixtralの分析ではドメイン別ではなく、インデントなどの構造・文法的なパターンや局所性に基づくルーティングが見られた。

    3. ルーティング頻度、機能的変換の差、人間による解釈可能性の3つを区別して理解することが重要である。

    Research anchors: [2], [7], [9]

    1. 「人間にとって理解しやすい専門化」という誤解

    MoEを「あるエキスパートは数学、別のエキスパートはコード、また別のエキスパートはフランス語を担当している」といった人間的なストーリー(物語)として捉えたくなりますが、研究結果はこれを一般的なメンタルモデルとして支持していません。

    2. Mixtral や ST-MoE での実証分析結果

    • Mixtral:The Pile の多様なドメインデータセット(ArXiv, PubMed, 哲学など)を用いてルーティング分析を行ったところ、ほとんどのデータセットでドメインレベルでの明確な割り当ての差は見られず、同様のエキスパート割り当て分布を示しました。一方で、インデント(インデント表記)や特定のトークンパターンといった構造的・文法的な挙動(syntactic behavior)に対する再現的な割り当てや、層ごとの局所性が観察されました。

    • ST-MoE:エンコーダー側のエキスパートでは専門化のパターンが見られたものの、デコーダー側のエキスパートでは同様の明確な挙動は見られず、多言語モデルにおいても単に「1言語 = 1エキスパート」のような単純な分割にはなりませんでした。

    3. 切り分けて考えるべき3つの概念

    資料では、専門化を評価する際に以下の3つの概念を区別して理解することが重要であると強調されています。

    • ルーティング頻度 (Routing frequency):どのエキスパートがどれくらい選択されるか(選択パターン)。

    • 機能的専門化 (Functional specialization):各エキスパートが測定可能なレベルで異なる変換処理を行っているか。

    • 人間が解釈可能な専門化 (Human-interpretable specialization):その機能差が「数学」や「コード」といった人間に理解しやすいラベルへと綺麗にマッピングされるか。

    4. 本質的な結論

    カラフルなエキスパートのルーティング可視化グラフは「選択の傾向」を示しているに過ぎず、直ちにそのエキスパートが人間にとって意味のある特定のドメイン知識を独立して保持している証拠にはなりません。


    Three designs, three different MoE choices

    3行要約

    本章では、現代のオープンな大規模言語モデル(LLM)において、「MoE」という共通の基本概念の下で、モデル設計者がそれぞれ全く異なるエキスパート数やルーティング規則を採用している具体例が解説されています。

    1. 現代のMoEは、Mixtral (8個/Top-2)、DeepSeek-V3 (256個/Top-8+共有)、Qwen3 (128個/Top-8) のように全く異なる設計を持つ。

    2. 「エキスパート数増加」や「アクティブ数削減」が直接モデルの速度やクオリティの優劣を決める単調な法則は存在しない。

    3. 実効性能はアクティブ数だけでなく、エキスパートサイズ、ルーティング方式、通信、ハードウェア実装に依存する。

    Research anchors: [9], [11], [14]

    1. 現代の3大MoEモデルの比較

    資料では、代表的な3つの現代モデルの構成が以下のように整理されています。

    • Mixtral 8x7B

      • パラメータ数:総パラメータ 47B / アクティブ 13B

      • ルーティング設計:8個のエキスパートから Top-2 を選択

      • 構造的特徴:標準的なFFNエキスパート構造を持ち、Top-2 のロジットに対して Softmax を適用して重み付けを行います。論文内では、アクティブパラメータ(13B)がメモリコストやハードウェア利用率を直接表すわけではないと明確に注記されています。

    • DeepSeek-V3

      • パラメータ数:総パラメータ 671B / アクティブ 37B

      • ルーティング設計:256個の細粒度ルーティング・エキスパートから Top-8 を選択 + 共有エキスパート

      • 構造的特徴:Sigmoidベースのアフィニティ(親和性)を使用します。細分割された多数のエキスパートと、常に実行される共有エキスパートを組み合わせ、ノード制限ルーティング(node-limited routing)や独自の通信設計と密結合しています。

    • Qwen3-30B-A3B

      • パラメータ数:総パラメータ 30.5B / アクティブ 3.3B

      • ルーティング設計:全128個のエキスパートから Top-8 を選択(48レイヤー)

      • 構造的特徴:Mixtral よりも遥かに巨大なエキスパートバンク(128個)を保持しつつ、1トークンあたり8個のエキスパートをアクティブ化します。

    2. 単調な法則の不在(単一の最適解はない)

    本章の最も重要な結論は、「エキスパート数が多いほど」あるいは「アクティブパラメータ数が少ないほど」自動的に高速かつ優位なモデルになるという単調な法則(Monotonic rule)は存在しないという点です。

    3. 性能を決定づける多角要素

    モデルの実際の性能や推論レイテンシは、アクティブパラメータ数という単一の数字だけでは決まりません。

    • エキスパートの1個あたりのサイズ

    • 高密度バックボーン(Dense backbone)の規模

    • ルーティングアルゴリズム(Softmax, Sigmoid, 共有エキスパートの有無など)

    • 計算精度(Precision)

    • 分散並列手法およびハードウェア上でのカーネル実装

    これらすべての要素が相互に影響し合って最終的な実効性能が定まるため、それぞれのモデルが目指す運用環境(サービングインフラ)に合わせた設計選択が行われています。


    A pedagogical Top-2 token-choice router

    3行要約

    本章では、Top-2 トークン選択ルーターの概念的な動作フローを直感的に理解するための PyTorch 風のサンプルコードと、実際のプロダクション実装との違いが解説されています。

    1. 概念コードは「スコア計算 -> Top-2選択 -> エキスパート計算 -> 重み付き結合」の算術ステップを明快に示す。

    2. Pythonの二重ループは教育用であり、プロダクションでは Grouped GEMM や All-to-All 通信等の高度な実装で効率化される。

    3. Top-2 確率の再正規化は教育上の1つの慣例であり、すべてのリアルなモデルに共通する万能のルールではない。

    Research anchors: [2], [9], [16]

    1. 概念理解のためのコード例

    資料で示されている概念コードは、以下の処理の流れを視覚化しています。

    # x: [tokens, d_model]
    logits = x @ router_weight  # [tokens, experts] スコア(ロジット)計算
    probs = logits.softmax(dim=-1)  # 全エキスパートに対する確率変換
    
    # Top-2 エキスパートの選択と確率の再正規化
    top_p, top_i = probs.topk(k=2, dim=-1)
    top_p = top_p / top_p.sum(dim=-1, keepdim=True)
    
    out = torch.zeros_like(x)
    # エキスパートの呼び出しと重み付き結合
    for slot in range(2):
        for expert_id, expert in enumerate(experts):
            mask = top_i[:, slot] == expert_id
            if mask.any():
                y = expert(x[mask])
                out[mask] += top_p[mask, slot, None] * y
    

    この短く透明性の高いコードにより、以下の数学的ステップが一目で理解できます:
    スコア算出 → Top-2 インデックス選択 → エキスパートの呼び出し → 重み付き結合 (Combine)

    画像

    2. 教育用コードが意図的に隠している「ハードエンジニアリング」

    このサンプルコードは概念の提示に特化しているため、実稼働システムに必要な高度なエンジニアリング要素の多くをあえて省いています。
    プロダクション環境で上記のような二重の Python for ループをそのまま使用すると、大規模計算では極めて低速となり実用に耐えません。

    実際のプロダクションシステムでは、以下のような複雑な要素が組み込まれます:

    • エキスパートキャパシティ(Capacity policy)やトークンドロップ処理

    • 高精度・数値安定性を保つルーティング

    • 分散環境におけるトークンディスパッチ(All-to-All通信)とパーミュート(並べ替え)

    • Grouped GEMM や融合カーネル(Fused kernels)によるバッチ化計算

    • 通信と計算のオーバーラップ、共有エキスパート、ロードバランス補助損失など

    3. 確率の再正規化(Renormalization)に関する注意点

    コード内で行われている「選ばれた Top-2 の確率値の和が 1 になるように再正規化する処理」は、教育用に用意された1つの妥当な慣例(コンベンション)に過ぎません。
    すべての現実の MoE モデルが共通してこの再正規化手順を採用しているわけではないため、実際のアーキテクチャごとにルーターの定式化を確認する必要があります。


    Bugs that still look plausible

    3行要約

    本章では、コード上は正常に動作しエラーも出ないため見過ごされやすいものの、論理的・数理的・システム的に誤った挙動を引き起こす「8つの代表的な実装上のバグ」が解説されています。

    1. Top-k 選択の微分可能性の誤解、Softmax 前提の固定観念、正規化手順の不一致は数理的なバグを生む。

    2. トークン数 (T) と総割当数 (k * T) の混同や順序復元メタデータの不保持はシステム的なバグを引き起こす。

    3. 常駐メモリ量とアクティブ数の混同や動作環境を無視した速度評価は運用上の見誤りにつながる。

    Research anchors: [4], [7], [11], [16]

    1. Top-k のインデックス選択を微分可能と思い込む

    エキスパートを選択する「インデックスの選択(Top-k や argmax)」は離散的(不連続)な操作です。勾配は選択されたエキスパートの出力重みや補助損失を経由して伝播するのであり、不連続な選択操作そのものがスムーズに微分されているわけではありません。

    2. すべてのルーターが Softmax を使うと仮定する

    例えば DeepSeek-V3 では、ルーティングの親和性(アフィニティ)計算に Softmax ではなく Sigmoid 関数を使用しています。ルーターの正規化および重み付けの計算式は、対象モデルの仕様に厳密に合わせる必要があります。

    3. 誤った集合(スコープ)で正規化を行う

    • 全エキスパートで Softmax を計算してからマスクする

    • Top-k にマスクした後に Softmax を再計算する

    • 選ばれた Sigmoid スコアのみで合計が 1 になるよう正規化する

    これらはすべて数学的に異なる計算結果をもたらします。どのタイミングで正規化を行うかによって出力表現が変わるため注意が必要です。

    4. トークン数 (T) と割当件数 (k * T) を混同する

    トークン数 (T) に対し、Top-k ルーティングでは最大で以下の件数のトークン・エキスパート割当(割り当てスロット)が発生します。

    画像

    キャパシティの定義やバッファサイズの計算において、(T) と (k * T) を混同すると、バッファオーバーフローや不要なパディングが発生します。

    5. ディスパッチ後に元のトークン順序を失う

    エキスパート並列(All-to-All)などでは、エキスパートごとにトークンを集めて計算(Expert-major 実行)を行います。計算後に元のトークン順序やルーティングスロットへ正しく復元(Unpermute / Combine)するためのメタデータを保持し損ねると、シーケンスが破壊されます。

    6. 誤ったスコープの負荷統計を使用する

    ロードバランスの統計(偏りの測定)は、デバイス単位、グループ単位、シーケンス単位、グローバルバッチ単位のどこで集計するかによって値が大きく変わります。集計のスコープ(適用範囲)を誤ると、不均衡の検知やペナルティの付与が正しく機能しません。

    7. アクティブパラメータ数と常駐メモリ量を同義とみなす

    推論(サービング)時、1つのトークンがアクティブ化するパラメータがごくわずかであっても、システム全体としては分散配置された全エキスパート重みをメモリ(VRAM)上に保持し続ける必要があります。

    8. ハードウェアやバッチ形状を無視して速度比較を行う

    スパース実行の処理効率は、エキスパートごとのバッチサイズ、デバイス間インターコネクト帯域、計算精度(FP8/BF16等)、および専用カーネルの実装状態に極めて強く依存します。これらシステム条件を特定せずに単に「MoEだから速い/遅い」と比較するのは意味をなしません。

    Shortcuts that create the wrong mental model

    3行要約

    本章では、MoE(Mixture of Experts)の理解において、直感的なショートカットに頼ることで生じる「9つの代表的な誤解」が一挙に整理されています。

    1. エキスパートは独立したLLMではなく特定のFFN層であり、アクティブパラメータ数と常駐メモリ量は一致しない。

    2. トークンドロップや Top-2 選択は必須の固定ルールではなく、システムやアーキテクチャに応じた設計上の選択肢である。

    3. エキスパート増加が直ちに推論高速化に繋がるわけではなく、明確なドメイン別専門化という解釈も誤りである。

    Research anchors: [4], [8], [9], [11], [14]

    1. エキスパートとモデル構造に関する誤解

    • 誤解1:「エキスパートとは、それ単体で独立した1つのLLMである」
      現代のTransformer MoEにおけるエキスパートは、特定の層の内部に配置された FFN(Feed-Forward Network)または MLP サブネットワークに過ぎず、モデル全体や独立した言語モデルではありません。

    • 誤解2:「MoEは単に小さなモデルを動かしているだけである」
      1トークンが通過するのは疎に選択されたエキスパートパスですが、アテンション層や共有エキスパートなどの高密度(Dense)パラメータは常に実行されており、モデル全体のエキスパートバンクも存在し続けています。

    • 誤解3:「MoEのスパース性はスパース・アテンション(Sparse Attention)と同じである」
      MoEはパラメータおよびエキスパートの「実行・アクティブ化」をスパースにする技術です。一方で、スパース・アテンションはクエリとキーの接続性をスパースにする技術であり、全く異なる概念です。

    2. メモリ・システム・実行に関する誤解

    • 誤解4:「総パラメータ100B・アクティブ10Bなら、メモリも10B分で済む」
      アクティブパラメータ数は1トークン処理時の計算パスの長さを示すものであり、チェックポイント容量やVRAM上の常駐メモリ量(全エキスパートの保持領域)を表すものではありません。

    • 誤解5:「MoEは常にトークンをドロップ(廃棄)する」
      トークンのドロップは特定の固定キャパシティ環境における実行ポリシーの1つに過ぎません。MegaBlocks や現代の Dropless(ドロップなし)実行環境が示す通り、必須の挙動ではありません。

    • 誤解6:「エキスパート数を増やせば推論が速くなる」
      エキスパート数を増やすとモデルの容量は拡大しますが、ルーティングの計算、重みの移動、デバイス間通信などのオーバーヘッドが増大し、推論速度が悪化する場合があります。

    3. ルーティングと専門化に関する誤解

    • 誤解7:「MoEは常に Top-2 ルーティングを使用する」
      Top-2 は選択肢の1つに過ぎません。Switch Transformer は Top-1 を採用し、Qwen3 や DeepSeek-V3 などはより大きな Top-8 などのルーティングバジェットを採用しています。

    • 誤解8:「ロードバランスとは全エキスパートを全く同じ挙動にすることである」
      ロードバランス(負荷平準化)はリソース利用率や処理件数の偏りを防ぐためのものであり、各エキスパートが機能的に異なる役割や変換を学習すること自体を阻害するものではありません。

    • 誤解9:「各エキスパートは『数学』や『コード』といった特定のドメインを学習する」
      ドメイン別のデータセットを用いたルーティング分析において、そのような明確なドメイン別の専門化は一般に確認されておらず、単なる人間側の解釈に過ぎません。


    Mixture of Experts in one chain

    MoEの全体像を一つの結論と9つのステップでまとめます。
    Research anchors: [1]-[16]

    結論

    MoEの本質は以下の2点に集約されます。

    1. MoEの持続的な約束(真価):すべてのトークンをすべてのパラメータに通すことなく、モデル全体が保持するパラメータ容量(表現力)を拡大できる「条件付き計算(Conditional computation)」を実現すること。

    2. MoEの持続的な困難(課題):条件付き計算によって生じる「動的・不均一・分散されたワークロード」は、高密度(Dense)な処理を得意とするハードウェアでは自動的には効率良く計算できないこと。

    したがって、MoEは「小さなモデル並みのコストで動く巨大モデル」でも単なる「ルーター付きのFFNの集まり」でもなく、最適化・数値安定性・疎計算・メモリ・通信・モデルアーキテクチャのすべてにまたがる共創・共設計(Co-design)問題です。


    9つの連鎖ステップ

    1. FFNの置き換え (Start with the FFN)
      エキスパートバンクは、アテンション層ではなく、通常高密度(Dense)な FFN サブレイヤーを置き換えます。

    2. スコアリング (Score)
      ルーターが各トークンの隠れ表現をエキスパートごとのスコアやアフィニティにマッピングします。

    3. 選択 (Select)
      スパースルーティング規則(Top-k など)により、全エキスパートの中からごく少数のサブセットを選択します。

    4. 計算 (Compute)
      選択されたルーティング・エキスパート(および共有エキスパート等の固定パス)のみがそのトークンに対して実行されます。

    5. 結合 (Combine)
      ルーター由来の重みを用いて、選択されたエキスパートの計算出力を1つのトークン表現へ合成・結合します。

    6. バランス (Balance)
      学習時には補助損失やバイアス調整を用いて極端な負荷不均衡(病的な過多・未利用)を防ぎますが、タスク損失を阻害しないように調整します。

    7. 安定化 (Stabilize)
      ルーターの数値的安定性はロードバランスとは異なる問題であり、z-loss などの手法でロジットの暴走を防ぎます。

    8. ディスパッチ (Dispatch)
      エキスパート並列(EP)環境では、All-to-All通信等によりトークン状態を目的のデバイスへ転送し、計算後に元のデバイスへ呼び戻します。

    9. 適切なリソースの計測 (Measure the right resource)
      総パラメータ数、アクティブパラメータ数、FLOPs、メモリ容量、通信量、処理時間はそれぞれ意味が異なり、安易に相互置き換えしてはなりません。


    重要キーワード

    資料「The Mixture of Experts Engineering Handbook」全35章で扱われている主要な用語および概念を、検索用に英語表記と日本語表記に分けてハッシュタグ形式で整理・抽出しました。


    英語キーワード(English Terms)

    【アーキテクチャ・基本構造】
    #MixtureOfExperts #MoE #ConditionalComputation #SparseTransformer #FeedForwardNetwork #FFN #GatedFFN
    【パラメータ・キャパシティ】
    #TotalParameters #ActiveParameters #ExpertBank #ExpertCapacity #CapacityFactor #TokenDropping #BlockSparseGEMM #MegaBlocks
    【ルーティング・選択手法】
    #Router #RouterLogits #GateWeights #Affinity #Top2Routing #TokenChoice #ExpertChoice #BASELayers #SoftmaxRouting
    【負荷平準化・損失関数・安定性】
    #RoutingCollapse #LoadBalancing #AuxiliaryLoss #ImportanceLoss #LoadLoss #SwitchBalancingLoss #RouterZLoss #AuxiliaryLossFree #RoutingBias
    【エキスパート構造・専門化】
    #FineGrainedExperts #SharedExperts #SharedExpertIsolation #ExpertSpecialization #FunctionalSpecialization #RoutingFrequency
    【システム・分散並列処理】
    #ExpertParallelism #TokenDispatch #Permute #Unpermute #Combine #AllToAll #Straggler #CommunicationOverhead
    【主要モデル・フレームワーク】
    #SwitchTransformer #GShard #Mixtral8x7B #DeepSeekMoE #DeepSeekV3 #Qwen3 #MegatronCore


    日本語キーワード(日本語用語)

    【アーキテクチャ・基本構造】
    #エキスパート混合 #条件付き計算 #スパースTransformer #スパース活性化 #フィードフォワードネットワーク #高密度ベースライン
    【パラメータ・キャパシティ】
    #総パラメータ数 #アクティブパラメータ数 #エキスパートバンク #エキスパートキャパシティ #キャパシティファクター #トークンドロップ #ドロップなし実行 #ブロック疎行列
    【ルーティング・選択手法】
    #ルーター #ゲート重み #親和性 #アフィニティ グ #トークン選択 #エキスパート選択
    #ソフトマックスルーティング
    【負荷平準化・損失関数・安定性】
    #ルーティング崩壊 #負荷不均衡 #ロードバランシング #補助損失 #重要度損失 #負荷損失 #スイッチバランシング損失
    #補助損失なし #動的バイアス調整 #数値的安定性
    【エキスパート構造・専門化】
    #細粒度エキスパート #共有エキスパート #共有エキスパート分離 #機能的専門化 #ルーティング頻度 #専門化
    【システム・分散並列処理】
    #エキスパート並列 #トークンディスパッチ #パーミュート #コンバイン #通信オーバーヘッド #ストラグラー
    【主要モデル・フレームワーク】
    #スイッチトランスフォーマー


    参考文献

    紹介したそれぞれの項目については、以下の参考文献を読むことをおすすめします。

    1. R. A. Jacobs, M. I. Jordan, S. J. Nowlan, G. E. Hinton. Adaptive Mixtures of Local Experts. Neural Computation 3(1):79-87,1991. DOI: 10.1162/neco.1991.3.1.79.

    2. N. Shazeer et al. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. arXiv:1701.06538, 2017.

    3. D. Lepikhin et al. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. arXiv:2006.16668, 2020; ICLR 2021.

    4. W. Fedus, B. Zoph, N. Shazeer. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Effi cient Sparsity . JMLR 23(120):1-39, 2022.

    5. M. Lewis et al. BASE Layers: Simplifying Training of Large, Sparse Models. arXiv:2103.16716, 2021.

    6. Y. Zhou et al. Mixture-of-Experts with Expert Choice Routing. NeurIPS 2022. arXiv:2202.09368.

    7. B. Zoph et al. ST-MoE: Designing Stable and Transferable Sparse Expert Models. arXiv:2202.08906, 2022.

    8. T. Gale, D. Narayanan, C. Young, M. Zaharia. MegaBlocks: Effi cient Sparse Training with Mixture-of-Experts . Proceedings of MLSys, Vol. 5, 2023. arXiv:2211.15841.

    9. A. Q. Jiang et al. Mixtral of Experts. arXiv:2401.04088, 2024.

    10. D. Dai et al. DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models. arXiv:2401.06066, 2024.

    11. DeepSeek-AI. DeepSeek-V3 Technical Report. arXiv:2412.19437v2, 2025; offi cial DeepSeek-V3 repository/confi guration consulted for architecture details.

    12. N. Muennighoff et al. OLMoE: Open Mixture-of-Experts Language Models. arXiv:2409.02060, 2024.

    13. Qwen Team. Qwen3 Technical Report. arXiv:2505.09388, 2025.

    14. Qwen Team. Qwen3-30B-A3B offi cial model card . Current offi cial model metadata consulted September 2026 for total/activated parameters and expert counts.

    15. Mistral AI. Mixtral 8x7B model release/source materials. Used only where consistent with the primary Mixtral paper.

    16. NVIDIA Megatron Core documentation. MoE token dispatchers, expert parallelism, router/capacity confi guration . Current documentation consulted September 2026.

    『The Mixture of Experts Engineering Handbook』の全35章と16のリファレンス(文献)の対応一覧

    • 第1章

      • 章タイトル: CONDITIONAL COMPUTATION

      • Reference: 2, 4, 7

    • 第2章

      • 章タイトル: THE DENSE BASELINE

      • Reference: 3, 4, 9, 11

    • 第3章

      • 章タイトル: THE MOE LAYER

      • Reference: 2, 7, 9, 10, 11

    • 第4章

      • 章タイトル: TRANSFORMER PLACEMENT

      • Reference: 3, 4, 9

    • 第5章

      • 章タイトル: THE ROUTER

      • Reference: 2, 4, 11

    • 第6章

      • 章タイトル: TOP-K ROUTING

      • Reference: 2, 4, 9, 11

    • 第7章

      • 章タイトル: WORKED ROUTING I

      • Reference: 2, 9, 11

    • 第8章

      • 章タイトル: WORKED ROUTING II

      • Reference: 2, 9

    • 第9章

      • 章タイトル: BATCH ROUTING

      • Reference: 2, 8, 16

    • 第10章

      • 章タイトル: HISTORY

      • Reference: 1, 2, 3, 4

    • 第11章

      • 章タイトル: NOISY TOP-K

      • Reference: 2

    • 第12章

      • 章タイトル: GSHARD AND SWITCH

      • Reference: 3, 4

    • 第13章

      • 章タイトル: TOP-1, TOP-2, TOP-K

      • Reference: 4, 9, 11, 14

    • 第14章

      • 章タイトル: EXPERT CAPACITY

      • Reference: 4, 7, 16

    • 第15章

      • 章タイトル: WORKED CAPACITY

      • Reference: 4

    • 第16章

      • 章タイトル: TOKEN DROPPING

      • Reference: 4, 8, 11, 16

    • 第17章

      • 章タイトル: ROUTING COLLAPSE

      • Reference: 2, 4, 11

    • 第18章

      • 章タイトル: EARLY BALANCING LOSSES

      • Reference: 2, 4, 11

    • 第19章

      • 章タイトル: SWITCH BALANCING LOSS

      • Reference: 4

    • 第20章

      • 章タイトル: ROUTER Z-LOSS

      • Reference: 7

    • 第21章

      • 章タイトル: OTHER ROUTING FORMULATIONS

      • Reference: 5, 6

    • 第22章

      • 章タイトル: DROPLESS EXECUTION

      • Reference: 8, 16

    • 第23章

      • 章タイトル: FINE-GRAINED AND SHARED EXPERTS

      • Reference: 10, 11

    • 第24章

      • 章タイトル: AUXILIARY-LOSS-FREE BALANCING

      • Reference: 11

    • 第25章

      • 章タイトル: TOTAL VS ACTIVE PARAMETERS

      • Reference: 9, 11, 14, 16

    • 第26章

      • 章タイトル: WORKED PARAMETER EXAMPLE

      • Reference: 2, 4, 9

    • 第27章

      • 章タイトル: TRAINING VS INFERENCE

      • Reference: 2, 9, 11, 16

    • 第28章

      • 章タイトル: EXPERT PARALLELISM

      • Reference: 3, 11, 16

    • 第29章

      • 章タイトル: PERFORMANCE

      • Reference: 2, 8, 9, 11, 16

    • 第30章

      • 章タイトル: EXPERT SPECIALIZATION

      • Reference: 2, 7, 9

    • 第31章

      • 章タイトル: MODERN MODELS

      • Reference: 9, 11, 14

    • 第32章

      • 章タイトル: TRANSPARENT IMPLEMENTATION

      • Reference: 2, 9, 16

    • 第33章

      • 章タイトル: IMPLEMENTATION MISTAKES

      • Reference: 4, 7, 11, 16

    • 第34章

      • 章タイトル: COMMON MISCONCEPTIONS

      • Reference: 4, 8, 9, 11, 14

    • 第35章

      • 章タイトル: THE COMPLETE MENTAL MODEL

      • Reference: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16




    あなたへのおすすめ