メインコンテンツへスキップ
見出し画像

DGX SparkでQwen3.8 Flash-Nextを調べて分かったMoEとNVFP4の効き方ー27Bより速い理由

    DGX SparkでQwen3.8を動かしてみると、Qwen3.8-27B-FP8よりもはるかに巨大なQwen3.8 Flash-Nextの方が、高い生成速度を示す例が報告されています。

    私の環境(MSI EdgeXpert)では、Qwen3.8-27B-FP8をvLLMで動かしたときの生成速度は約18 tokens/sでした。

    27Bモデルです。

    128GBのユニファイドメモリを持つDGX Sparkなら、それほど巨大なモデルには見えません。


    ところがQwen3.8-Flash-NextをDGX Spark向けに最適化した構成では、30 tok/s台後半の実測が公開されています。

    Flash-NextはQwen公式モデルカード上で、

    • メインモデル:125B パラメータ

    • n-gram embedding(PLE):51B パラメータ

    • アクティブパラメータ:6B

    という非常に大きなモデルです。

    125B本体に51BのPLEまで持っているのに、なぜ27B-FP8より速く動くのでしょうか。

    調べてみると、重要なのは単純な「何Bモデルか」ではありませんでした。

    1トークン生成するときに実際にどれだけのパラメータが動き、どれだけのデータをメモリから読み出す必要があるのか。

    DGX Sparkでは、こちらの方が推論速度を理解するうえで重要でした。


    まずQwen3.8-27B-FP8

    Qwen3.8-27B-FP8は、Qwen公式が公開している27Bクラスのモデルです。

    FP8によって重みのメモリ使用量は大きく削減されていますが、Flash-Nextのような大規模MoEで「多数のExpertから一部だけを選択する」構造ではありません。

    そのためデコード時には、モデルの各層を順番に通りながら次のトークンを生成していきます。

    イメージすると、

    入力
     ↓
    Qwen3.8-27B
     ↓
    1 token生成
     ↓
    次のforward
     ↓
    次のtoken

    という処理を繰り返します。

    FP8だから軽量ではあります。

    しかしデコードでは、大量のウェイト(重み)を繰り返しメモリから読み出します。

    DGX Sparkのような単体GB10環境では、この処理はGPUの演算性能だけではなく、メモリ帯域の影響を強く受けます。(帯域幅: 273 GB/s)

    私の環境で約18 tok/sという結果になっているのも、こうした特性を踏まえると十分に納得できます。


    一方のQwen3.8-Flash-Next

    Flash-Nextは構造がまったく違います。

    Qwen公式モデルカードでは、

    125B Main Model + 51B PLE

    という巨大な構成でありながら、

    アクティブパラメータは6B

    とされています。

    つまり総パラメータ数すべてを毎トークン計算するわけではありません。

    ここが27Bとの大きな違いです。


    MoEなので毎回すべてのExpertを使わない

    Flash-NextはMixture of Experts、つまりMoEを利用しています。

    内部には多数のExpertがあります。(大規模言語モデルの高度な構造である Mixture of Experts(MoE:専門家混合) において、入力データを分担して処理する個別のサブネットワーク(専門家=Expert)を指す)

    しかし1トークンごとに512個すべてのExpertを実行するわけではなく、routerが必要なExpertを選択します。(Router ルーター とは、 入力されたトークンをどの専門家に割り当てるかを確率で決める小さなゲートネットワーク)

    概念的には、

    512 Experts
    
    [1][2][3][4][5] ...... [512]
           ↑   ↑      ↑
           必要なExpertだけ使用

    という動きです。

    その結果、モデル全体は巨大でも、Qwen公式値では1トークンあたりのアクティブパラメータは約6Bです。

    対して27Bモデルには、この大規模MoEによるExpert選択はありません。

    この違いを簡単に整理すると、

    Qwen3.8-27B
    Total Parameters : 27B
    Dense系モデル
    
    Qwen3.8-Flash-Next
    Main Model       : 125B
    PLE              : 51B
    Activated Params : 6B
    MoE

    となります。

    ここで見るべきなのは、単純なトータルパラメータではなく、

    アクティブパラメータ

    です。

    Flash-Nextは巨大なモデルですが、1トークン生成時に動く部分はかなり限定されています。


    ただし「6Bだから27Bの4.5倍速い」わけではない

    ここは注意が必要です。

    27B ÷ 6B ≒ 4.5なので、

    「Flash-Nextは4.5倍速いはず」

    とはなりません。

    実際のデコード性能は、

    • メモリ帯域

    • Expert routing

    • Attention

    • Gated DeltaNet

    • KV Cache

    • Quantization

    • kernel実装

    • CUDA Graph

    • batch size

    • context length

    • speculative decoding

    • MTP

    など、複数の要素によって決まります。

    アクティブパラメータは非常に重要な指標ですが、tokens/sをアクティブパラメータだけから計算することはできません。

    それでも、

    「27Bだから125Bより必ず速い」

    という考え方が成立しない理由は、ここでかなり明確になります。


    しかしFlash-Nextには別の問題がある

    ここまでなら、

    「ではFlash-NextをDGX Sparkで使えばいい」

    となります。

    ところが、そのままでは大きな問題があります。

    メモリです。

    Flash-Next NVFP4版の大まかな構成を見ると、blazuxの解析では以下のようになっています。

    画像
    • Routed Experts:約63GiB

    • GDN / Attention / Shared Expertなど:約15GiB

    • PLE:約44〜48GiB規模

    合計すると120GiBを大きく超えます。

    blazuxの現在のREADMEでは、NVFP4 checkpoint全体を約122GiBとしています。

    DGX SparkのUnified Memoryは128GBです。

    ここへ、

    • OS

    • CUDA

    • Docker

    • vLLM

    • KV Cache

    • runtime buffer

    まで置く必要があります。

    つまりモデルをそのまま載せただけでは、

    128GB Unified Memory
    
    ほぼ全て
     └─ Model
    
    KV Cache
     └─ ほとんど残らない

    という状態になります。

    推論できたとしても、長いコンテキストや複数ユーザー運用には厳しい構成です。


    NVFP4は何を軽くしているのか

    そこで出てくるのがNVFP4です。

    Flash-NextのNVFP4 checkpointでは、MoEの中で大きな容量を占めるRouted Expertsを4bit系のNVFP4へ量子化します。

    ただし、

    モデル全体が4bitになるわけではありません。

    blazuxのHybrid構成では、

    Routed Experts
    → NVFP4
    
    GDN / QSA projections / Shared Experts
    → FP8
    
    PLE
    → mmapでNVMeから参照

    という構成を使います。

    特に重要なのは、Expertの扱いです。

    Expertは512個全部を毎トークン読むわけではありません。

    一方、

    • GDN

    • Attention/QSA projection

    • Shared Expert

    などのside layersは、デコード時に継続的に利用されます。

    blazuxでは、この約15GiBのside layersをBF16からblockwise FP8へ変換するHybrid modeを用意しています。

    作者の計測では、

    NVFP4:約26 tok/s

    に対して、

    Hybrid:約31 tok/s

    となり、およそ20%のデコード改善が確認されています。

    つまり、

    SparseなExpertはすでにNVFP4。毎トークン必ず読むDense側をFP8化する。

    ここが効いています。


    そして一番大きい問題がPLE

    Qwen3.8-Flash-Nextには巨大なn-gram embeddingがあります。

    これがPLEです。

    blazuxの説明では、checkpoint中のPLEは約44GiBあります。

    44GiBというと非常に大きいのですが、面白いのは、

    1トークンで44GiB全部を読むわけではない

    という点です。

    blazuxによると、1トークンが参照する量は、

    16 rows × 160 bytes ≒ 2.5KB

    程度です。

    つまり、

    PLE全体
     約44GiB
    
      ↓ でも
    
    1 tokenで必要
     約2.5KB

    です。

    それなら44GiBすべてを128GB ユニファイドメモリへ常駐させる必要があるのか。

    blazuxの答えは、

    「ない」

    でした。


    PLEをNVMeへmmapする

    blazux/qwen3.8-Flash-DGXでは、PLEをユニファイドメモリへ常駐させず、

    NVMe上のcheckpointをmmapして必要なrowだけ読む

    方式を採用しています。

    通常
    
    128GB Unified Memory
    ├─ Model
    ├─ PLE 約44GiB
    ├─ Runtime
    └─ KV Cache ← 少ない
    
    
    blazux
    
    128GB Unified Memory
    ├─ Model 約76GiB前後
    ├─ Runtime
    └─ KV Cache
    
    NVMe
    └─ PLE 約44GiB

    READMEでは、この方法によってresident weightを約76GiBまで下げ、残りをKV Cacheへ回せると説明しています。

    これはDGX Sparkの128GB ユニファイドメモリという制約に対して、非常に合理的な方法です。

    PLEは巨大ですが、lookup tableです。

    必要な行だけをオンデマンドで取得します。


    mmapならNVMeが遅くならないのか

    当然ここで、

    「毎トークン NVMeを読んだら遅いのでは?」

    という疑問が出ます。

    実際、完全にコストがなくなるわけではありません。

    blazuxの詳細資料でも、page cacheに存在しないPLE rowを読む際のdisk gatherがデコードコストの一部になっていることが測定されています。

    そのため現在のblazuxでは、

    • 重複rowのdedup

    • pinned buffer

    • asynchronous H2D copy

    • thread pool

    • page faultの並列化

    などの改善も入っています。

    最近の測定では、このPLE gather経路の改善だけでも、

    single streamで約8%

    4 streams aggregateで約17%

    の改善が報告されています。

    つまりblazuxは単純に、

    「PLEをSSDに置いただけ」

    ではありません。

    PLEをNVMeからどう高速に供給するかまで含めて最適化している

    ということです。


    blazuxはモデルではない

    ここも混同しやすいポイントです。

    blazux/qwen3.8-Flash-DGX

    は、新しいQwenモデルではありません。

    Qwen3.8-Flash-NextをDGX Spark / GB10で効率よく動かすための実行環境・patch・運用recipe

    です。

    現在の構成では、NVIDIAまたはRadixArkのNVFP4 checkpointを利用し、その上にDGX Spark向けの最適化を追加します。

    整理すると、

    Qwen公式
    Qwen3.8-Flash-Next
            ↓
    NVFP4 checkpoint
    NVIDIA / RadixArk
            ↓
    DGX Spark最適化
    blazux/qwen3.8-Flash-DGX

    という関係です。

    画像

    blazuxがやっていること

    現在のblazuxには、PLE mmap以外にもかなり多くの最適化が入っています。

    主なものだけでも、

    • PLE mmap

    • GB10向けFLA修正

    • Mamba state-copy修正

    • Prefix Cache修正

    • deterministic QSA top-k

    • NVFP4 Expert + FP8 side layers

    • FP8 KV Cache

    • MTP最適化

    • reduced draft vocabulary

    • PLE gather高速化

    があります。

    つまり、

    モデルだけを最適化しているのではなく、GB10上でのserving stack全体を調整している

    ということです。


    MTPも速度差に効いている

    さらにFlash-NextではMTP、Multi-Token Predictionを利用できます。

    通常のautoregressive generationでは、

    forward
     ↓
    1 token
     ↓
    forward
     ↓
    1 token

    と進みます。

    MTPでは将来トークンの候補も予測し、speculative decodingとして利用できます。

    候補がacceptされれば、1トークンずつ生成するより効率よく前へ進めます。

    blazuxの現在のデフォルト構成ではMTP=2を利用しており、速度重視profileではMTP=3も用意されています。

    READMEでは、

    • 通常Hybrid:30 tok/s台後半

    • Speed profile / MTP=3:約41 tok/s

    という実測も掲載されています。

    したがって、27B-FP8との速度差を

    「6B activeだから」だけで説明するのは不十分

    です。

    実際には、

    MoE
     +
    NVFP4
     +
    FP8 side layers
     +
    PLE mmap
     +
    GB10 kernel fixes
     +
    MTP
     +
    Prefix Cache

    という積み重ねです。


    私の18 tok/sとblazuxの34〜40 tok/sは直接比較ではない

    ここは明確に分けておきます。

    私の環境では、

    Qwen3.8-27B-FP8:約18 tok/s

    です。

    一方blazuxでは、DGX Spark / ASUS GX10で、

    約34 tok/s前後のsingle-stream decode

    が現在の目安として掲載されています。

    さらに条件によって30 tok/s台後半、speed profileで約41 tok/sという結果もあります。

    ただし、

    18 vs 34

    をそのままモデル性能差と考えてはいけません。

    測定条件が違うからです。

    違いとして考えられるのは、

    • vLLM version

    • prompt length

    • output length

    • MTP

    • CUDA Graph

    • context

    • KV Cache

    • batch

    • sampling

    • kernel

    • prefix cache

    などです。

    したがってこの記事では、

    Flash-Nextが27Bの約2倍速い

    とは結論づけません。

    言えるのは、

    Flash-Next + DGX Spark最適化には、27B-FP8より高いデコード速度を実現できる構造的な理由がある

    というところまでです。


    さらに面白いのは複数ユーザー時

    blazuxの公開データを見ると、Flash-Nextはsingle streamだけではなく、並列処理でも面白い挙動をします。

    別のDGX Spark計測では、

    1 stream   : 17.1 tok/s aggregate
    8 streams  : 87.5 tok/s aggregate
    16 streams : 131.6 tok/s aggregate
    32 streams : 212.0 tok/s aggregate
    48 streams : 266.8 tok/s aggregate

    という結果が掲載されています。

    もちろん1ユーザーあたりのtok/sは下がります。

    しかしサーバー全体のthroughputは大きく伸びています。

    社内LLMとして複数ユーザーから同時に使うなら、

    single-stream tokens/sだけでなくaggregate throughputを見る必要がある

    ということです。

    これは私の用途ではかなり重要です。


    ではQwen3.8-27B-FP8はもう不要なのか

    ここまで読むと、

    「では27B-FP8を捨ててFlash-Nextへ移行すればいい」

    と思うかもしれません。

    しかし、そこまでは言えません。

    27B-FP8には大きな利点があります。

    • 公式FP8 checkpoint

    • 構成が比較的シンプル

    • 標準vLLMに近い

    • 特殊patchが少ない

    • モデルサイズが小さい

    • 起動・障害原因を切り分けやすい

    • アップデート追従が比較的簡単

    特に業務用LLMサーバーでは、

    速さだけでなく保守性も性能の一部

    です。

    blazuxは非常に面白いですが、多数のpatchと独自最適化に依存しています。

    vLLM本体側にもFlash-Next対応が進んでおり、vLLM 0.29.0では一部の修正がupstreamされています。blazux自身もv0.29用recipeを用意しています。

    今後は必要なpatchが減っていく可能性があります。


    品質については別に検証する必要がある

    速度が速くても、回答品質が落ちれば意味がありません。

    特に私が重要視しているのは、

    • 日本語

    • Coding

    • Tool Calling

    • MCP

    • Fusion MCP

    • 長文解析

    • 社内業務

    • 複数ターンのagent処理

    です。

    Qwen公式ベンチマーク上では、Flash-Nextは1トークンあたりのアクティブパラメータを大幅に減らしながら、27Bと同等または上回る指標を出しているというのが非常に面白いところです。ただし、これはQwen公式の特定ベンチマークでの結果です。

    画像

    blazuxではNVFP4とHybridを17シナリオ×3回のagentic tournamentで比較し、同じ45/51という結果だったと報告しています。

    これは非常に興味深い結果です。

    ただし、このベンチマークは私の実運用とは違います。

    したがって、

    「Flash-Nextの方が自分の用途でも高品質」

    とはまだ言えません。

    ここは同じプロンプトを使ったA/Bテストが必要です。


    次に比較したい構成

    現在私が使っているのは、

    DGX Spark
     +
    Qwen3.8-27B-FP8
     +
    vLLM

    です。

    次に試す候補は、

    DGX Spark
     +
    Qwen3.8-Flash-Next NVFP4
     +
    blazux/qwen3.8-Flash-DGX
     +
    Hybrid mode

    です。

    比較するなら、単純なtok/sだけでは足りません。

    最低でも、

    • Decode tok/s

    • Prefill tok/s

    • TTFT

    • Unified Memory使用量

    • KV Cache容量

    • 100k以上のlong context

    • 日本語品質

    • Coding

    • Tool Calling

    • Fusion MCP

    • 複数ユーザー同時利用

    • 長時間安定性

    を見るつもりです。


    まとめ

    今回調べて一番大きかったのは、

    LLMは「何Bモデルか」だけでは推論速度を判断できない

    ということです。

    Qwen3.8-27B-FP8は27Bモデルです。

    一方Qwen3.8-Flash-Nextは、

    125B Main Model + 51B PLE

    というはるかに巨大な構成を持っています。

    しかしFlash-NextはMoEであり、Qwen公式値ではアクティブパラメータが6Bです。

    さらにDGX Sparkでは、

    • Routed ExpertsをNVFP4

    • Dense side layersをFP8

    • 巨大PLEをNVMe mmap

    • MTP speculative decoding

    • Prefix Cache

    • GB10専用kernel修正

    を組み合わせることで、巨大なモデルを128GB ユニファイドメモリ環境で実用的にserveできるようになります。

    だから見るべきなのは、

    「何B載るか」だけではありません。

    より重要なのは、

    1トークン生成するときに何Bが実際に動き、何GBをメモリから読み、そのデータをどれだけ効率よく供給できるのか。

    という視点です。

    DGX SparkのようにGPUとCPUが128GBのユニファイドメモリを共有する環境では、この差が特に大きく出ます。

    私のQwen3.8-27B-FP8は現在約18 tok/sです。

    Flash-Next + blazuxには30 tok/s台後半の公開実測があります。

    ただし、これはまだ同一条件比較ではありません。

    本当に置き換える価値があるのか。

    wen3.8-27B-FP8 vs Qwen3.8-Flash-Next NVFP4 + blazux

    を実際に体感してみたいと思います。


    参考リンク:



    #DGXSpark #Qwen #Qwen38 #vLLM #Ollama #ローカルLLM #生成AI #AI #LLM #NVIDIA #Blackwell #GPU #Docker #Ubuntu #AI開発 #AIインフラ

    あなたへのおすすめ