メインコンテンツへスキップ
見出し画像

MoEとアクティブパラメータ入門。なぜ235Bモデルが14Bより速いのか

    「Qwen3-235B-A22B」のA22Bが読めれば、2026年のモデル選びは半分終わります。MoEの仕組みを1本で整理します。

    モデル名の「A22B」は何の数字か

    2026年の主要モデルには「235B-A22B」のような表記が増えました。これは、

    • 235B: 総パラメータ数(モデル全体の大きさ)

    • A22B: アクティブ(活性)パラメータ数。1トークンを処理するのに実際に使う分

    を意味します(Aは Activated の頭文字)。この形式のモデルはMoE(Mixture of Experts、専門家混合)という構造で、2026年の主要モデルはほぼMoE化しています。

    MoEの仕組み

    MoEは、モデルの中に多数の「専門家(エキスパート)」を持ち、入力ごとに一部だけを動かす構造です。

    • モデルには例えば128個の専門家がいる

    • 各トークンを処理するとき、「ルーター」が関連する専門家(例: 8個)だけを選んで動かす

    • 残りの専門家は動かない = 計算も読み出しも軽い

    料理店に例えると、厨房に多数の専門料理人がいるが、1つの注文には数人だけが動く。全員を雇う(=メモリに載せる)必要はあるが、1品作るのに全員は動かない、というイメージです。

    実務ルール: メモリは総パラメータ、速度は活性パラメータ

    MoEを理解する鍵は、この1ルールです(Hugging Face公式のMoE解説でも「全パラメータをメモリに載せる必要があり高メモリ、推論では一部エキスパートのみ使うためdenseより高速」と説明されています)。

    だから「総120B・活性5B級」のモデルは、128GBの統合メモリ機に載り(総120Bが載る)、かつ実用速度が出る(活性5B分の計算)。大容量・低帯域の統合メモリ機とMoEの相性が良いのは、この構造のためです。

    2026年の主要MoEモデル

    総パラメータと活性パラメータの実例です(いずれもHugging Faceのモデルカードで確認)。


    画像
    表1: モデル / 総 / 活性


    この表が読めれば、モデルのスペック表から「うちのマシンに載るか」「実用速度が出るか」を即座に判断できます。

    密(dense)モデルとの使い分け

    MoEにも弱点があります。

    • メモリ効率は悪い: 総パラメータ全部をメモリに載せるので、「性能あたりのメモリ」で見ると密モデルより不利な面があります

    • ファインチューニングが難しい: エキスパート構造は過学習しやすく、追加学習の難度が上がります(LoRAの話は『LoRAで自社データをローカルLLMに学習させる』で扱います)

    このため、小型の密モデルが残る領域もあります。ただしハード選びへの影響として、「大容量・低帯域のマシンはMoE向き」という新常識は押さえておく価値があります。

    まとめ

    • 「235B-A22B」= 総235B(メモリ)/活性22B(速度)。Aは活性パラメータ

    • MoEは多数の専門家の一部だけを動かす構造。2026年の主要モデルはほぼMoE化

    • 実務ルールは「載るか=総パラメータ、速いか=活性パラメータ」。大容量・低帯域機とMoEは好相性

    • 弱点はメモリ効率とファインチューニングの難しさ。小型密モデルが残る領域もある

    主な参考資料: Mixture of Experts Explained (Hugging Face)、Qwen3-235B-A22B (Hugging Face)、Qwen3 公式ブログ

    TodoONadaでは、ローカルLLMのモデル選定・機材選定を支援しています。お問い合わせはこちら。

     
     
    Claude/Cursor/Codexを使ってシステム開発xマーケx営業を並列開発する経営者。 元日本オラクルでシステムの受託会社であるTodoONadaをやっています。 http://defform.comも自社サとして運営中。

    あなたへのおすすめ