
DGX SparkでQwen3.8 Flash-Nextを調べて分かったMoEとNVFP4の効き方ー27Bより速い理由
DGX SparkでQwen3.8を動かしてみると、Qwen3.8-27B-FP8よりもはるかに巨大なQwen3.8 Flash-Nextの方が、高い生成速度を示す例が報告されています。
私の環境(MSI EdgeXpert)では、Qwen3.8-27B-FP8をvLLMで動かしたときの生成速度は約18 tokens/sでした。
27Bモデルです。
128GBのユニファイドメモリを持つDGX Sparkなら、それほど巨大なモデルには見えません。
ところがQwen3.8-Flash-NextをDGX Spark向けに最適化した構成では、30 tok/s台後半の実測が公開されています。
Flash-NextはQwen公式モデルカード上で、
メインモデル:125B パラメータ
n-gram embedding(PLE):51B パラメータ
アクティブパラメータ:6B
という非常に大きなモデルです。
125B本体に51BのPLEまで持っているのに、なぜ27B-FP8より速く動くのでしょうか。
調べてみると、重要なのは単純な「何Bモデルか」ではありませんでした。
1トークン生成するときに実際にどれだけのパラメータが動き、どれだけのデータをメモリから読み出す必要があるのか。
DGX Sparkでは、こちらの方が推論速度を理解するうえで重要でした。
まずQwen3.8-27B-FP8
Qwen3.8-27B-FP8は、Qwen公式が公開している27Bクラスのモデルです。
FP8によって重みのメモリ使用量は大きく削減されていますが、Flash-Nextのような大規模MoEで「多数のExpertから一部だけを選択する」構造ではありません。
そのためデコード時には、モデルの各層を順番に通りながら次のトークンを生成していきます。
イメージすると、
入力
↓
Qwen3.8-27B
↓
1 token生成
↓
次のforward
↓
次のtokenという処理を繰り返します。
FP8だから軽量ではあります。
しかしデコードでは、大量のウェイト(重み)を繰り返しメモリから読み出します。
DGX Sparkのような単体GB10環境では、この処理はGPUの演算性能だけではなく、メモリ帯域の影響を強く受けます。(帯域幅: 273 GB/s)
私の環境で約18 tok/sという結果になっているのも、こうした特性を踏まえると十分に納得できます。
一方のQwen3.8-Flash-Next
Flash-Nextは構造がまったく違います。
Qwen公式モデルカードでは、
125B Main Model + 51B PLE
という巨大な構成でありながら、
アクティブパラメータは6B
とされています。
つまり総パラメータ数すべてを毎トークン計算するわけではありません。
ここが27Bとの大きな違いです。
MoEなので毎回すべてのExpertを使わない
Flash-NextはMixture of Experts、つまりMoEを利用しています。
内部には多数のExpertがあります。(大規模言語モデルの高度な構造である Mixture of Experts(MoE:専門家混合) において、入力データを分担して処理する個別のサブネットワーク(専門家=Expert)を指す)
しかし1トークンごとに512個すべてのExpertを実行するわけではなく、routerが必要なExpertを選択します。(Router ルーター とは、 入力されたトークンをどの専門家に割り当てるかを確率で決める小さなゲートネットワーク)
概念的には、
512 Experts
[1][2][3][4][5] ...... [512]
↑ ↑ ↑
必要なExpertだけ使用という動きです。
その結果、モデル全体は巨大でも、Qwen公式値では1トークンあたりのアクティブパラメータは約6Bです。
対して27Bモデルには、この大規模MoEによるExpert選択はありません。
この違いを簡単に整理すると、
Qwen3.8-27B
Total Parameters : 27B
Dense系モデル
Qwen3.8-Flash-Next
Main Model : 125B
PLE : 51B
Activated Params : 6B
MoEとなります。
ここで見るべきなのは、単純なトータルパラメータではなく、
アクティブパラメータ
です。
Flash-Nextは巨大なモデルですが、1トークン生成時に動く部分はかなり限定されています。
ただし「6Bだから27Bの4.5倍速い」わけではない
ここは注意が必要です。
27B ÷ 6B ≒ 4.5なので、
「Flash-Nextは4.5倍速いはず」
とはなりません。
実際のデコード性能は、
メモリ帯域
Expert routing
Attention
Gated DeltaNet
KV Cache
Quantization
kernel実装
CUDA Graph
batch size
context length
speculative decoding
MTP
など、複数の要素によって決まります。
アクティブパラメータは非常に重要な指標ですが、tokens/sをアクティブパラメータだけから計算することはできません。
それでも、
「27Bだから125Bより必ず速い」
という考え方が成立しない理由は、ここでかなり明確になります。
しかしFlash-Nextには別の問題がある
ここまでなら、
「ではFlash-NextをDGX Sparkで使えばいい」
となります。
ところが、そのままでは大きな問題があります。
メモリです。
Flash-Next NVFP4版の大まかな構成を見ると、blazuxの解析では以下のようになっています。

Routed Experts:約63GiB
GDN / Attention / Shared Expertなど:約15GiB
PLE:約44〜48GiB規模
合計すると120GiBを大きく超えます。
blazuxの現在のREADMEでは、NVFP4 checkpoint全体を約122GiBとしています。
DGX SparkのUnified Memoryは128GBです。
ここへ、
OS
CUDA
Docker
vLLM
KV Cache
runtime buffer
まで置く必要があります。
つまりモデルをそのまま載せただけでは、
128GB Unified Memory
ほぼ全て
└─ Model
KV Cache
└─ ほとんど残らないという状態になります。
推論できたとしても、長いコンテキストや複数ユーザー運用には厳しい構成です。
NVFP4は何を軽くしているのか
そこで出てくるのがNVFP4です。
Flash-NextのNVFP4 checkpointでは、MoEの中で大きな容量を占めるRouted Expertsを4bit系のNVFP4へ量子化します。
ただし、
モデル全体が4bitになるわけではありません。
blazuxのHybrid構成では、
Routed Experts
→ NVFP4
GDN / QSA projections / Shared Experts
→ FP8
PLE
→ mmapでNVMeから参照という構成を使います。
特に重要なのは、Expertの扱いです。
Expertは512個全部を毎トークン読むわけではありません。
一方、
GDN
Attention/QSA projection
Shared Expert
などのside layersは、デコード時に継続的に利用されます。
blazuxでは、この約15GiBのside layersをBF16からblockwise FP8へ変換するHybrid modeを用意しています。
作者の計測では、
NVFP4:約26 tok/s
に対して、
Hybrid:約31 tok/s
となり、およそ20%のデコード改善が確認されています。
つまり、
SparseなExpertはすでにNVFP4。毎トークン必ず読むDense側をFP8化する。
ここが効いています。
そして一番大きい問題がPLE
Qwen3.8-Flash-Nextには巨大なn-gram embeddingがあります。
これがPLEです。
blazuxの説明では、checkpoint中のPLEは約44GiBあります。
44GiBというと非常に大きいのですが、面白いのは、
1トークンで44GiB全部を読むわけではない
という点です。
blazuxによると、1トークンが参照する量は、
16 rows × 160 bytes ≒ 2.5KB
程度です。
つまり、
PLE全体
約44GiB
↓ でも
1 tokenで必要
約2.5KBです。
それなら44GiBすべてを128GB ユニファイドメモリへ常駐させる必要があるのか。
blazuxの答えは、
「ない」
でした。
PLEをNVMeへmmapする
blazux/qwen3.8-Flash-DGXでは、PLEをユニファイドメモリへ常駐させず、
NVMe上のcheckpointをmmapして必要なrowだけ読む
方式を採用しています。
通常
128GB Unified Memory
├─ Model
├─ PLE 約44GiB
├─ Runtime
└─ KV Cache ← 少ない
blazux
128GB Unified Memory
├─ Model 約76GiB前後
├─ Runtime
└─ KV Cache
NVMe
└─ PLE 約44GiBREADMEでは、この方法によってresident weightを約76GiBまで下げ、残りをKV Cacheへ回せると説明しています。
これはDGX Sparkの128GB ユニファイドメモリという制約に対して、非常に合理的な方法です。
PLEは巨大ですが、lookup tableです。
必要な行だけをオンデマンドで取得します。
mmapならNVMeが遅くならないのか
当然ここで、
「毎トークン NVMeを読んだら遅いのでは?」
という疑問が出ます。
実際、完全にコストがなくなるわけではありません。
blazuxの詳細資料でも、page cacheに存在しないPLE rowを読む際のdisk gatherがデコードコストの一部になっていることが測定されています。
そのため現在のblazuxでは、
重複rowのdedup
pinned buffer
asynchronous H2D copy
thread pool
page faultの並列化
などの改善も入っています。
最近の測定では、このPLE gather経路の改善だけでも、
single streamで約8%
4 streams aggregateで約17%
の改善が報告されています。
つまりblazuxは単純に、
「PLEをSSDに置いただけ」
ではありません。
PLEをNVMeからどう高速に供給するかまで含めて最適化している
ということです。
blazuxはモデルではない
ここも混同しやすいポイントです。
blazux/qwen3.8-Flash-DGX
は、新しいQwenモデルではありません。
Qwen3.8-Flash-NextをDGX Spark / GB10で効率よく動かすための実行環境・patch・運用recipe
です。
現在の構成では、NVIDIAまたはRadixArkのNVFP4 checkpointを利用し、その上にDGX Spark向けの最適化を追加します。
整理すると、
Qwen公式
Qwen3.8-Flash-Next
↓
NVFP4 checkpoint
NVIDIA / RadixArk
↓
DGX Spark最適化
blazux/qwen3.8-Flash-DGXという関係です。

blazuxがやっていること
現在のblazuxには、PLE mmap以外にもかなり多くの最適化が入っています。
主なものだけでも、
PLE mmap
GB10向けFLA修正
Mamba state-copy修正
Prefix Cache修正
deterministic QSA top-k
NVFP4 Expert + FP8 side layers
FP8 KV Cache
MTP最適化
reduced draft vocabulary
PLE gather高速化
があります。
つまり、
モデルだけを最適化しているのではなく、GB10上でのserving stack全体を調整している
ということです。
MTPも速度差に効いている
さらにFlash-NextではMTP、Multi-Token Predictionを利用できます。
通常のautoregressive generationでは、
forward
↓
1 token
↓
forward
↓
1 tokenと進みます。
MTPでは将来トークンの候補も予測し、speculative decodingとして利用できます。
候補がacceptされれば、1トークンずつ生成するより効率よく前へ進めます。
blazuxの現在のデフォルト構成ではMTP=2を利用しており、速度重視profileではMTP=3も用意されています。
READMEでは、
通常Hybrid:30 tok/s台後半
Speed profile / MTP=3:約41 tok/s
という実測も掲載されています。
したがって、27B-FP8との速度差を
「6B activeだから」だけで説明するのは不十分
です。
実際には、
MoE
+
NVFP4
+
FP8 side layers
+
PLE mmap
+
GB10 kernel fixes
+
MTP
+
Prefix Cacheという積み重ねです。
私の18 tok/sとblazuxの34〜40 tok/sは直接比較ではない
ここは明確に分けておきます。
私の環境では、
Qwen3.8-27B-FP8:約18 tok/s
です。
一方blazuxでは、DGX Spark / ASUS GX10で、
約34 tok/s前後のsingle-stream decode
が現在の目安として掲載されています。
さらに条件によって30 tok/s台後半、speed profileで約41 tok/sという結果もあります。
ただし、
18 vs 34
をそのままモデル性能差と考えてはいけません。
測定条件が違うからです。
違いとして考えられるのは、
vLLM version
prompt length
output length
MTP
CUDA Graph
context
KV Cache
batch
sampling
kernel
prefix cache
などです。
したがってこの記事では、
Flash-Nextが27Bの約2倍速い
とは結論づけません。
言えるのは、
Flash-Next + DGX Spark最適化には、27B-FP8より高いデコード速度を実現できる構造的な理由がある
というところまでです。
さらに面白いのは複数ユーザー時
blazuxの公開データを見ると、Flash-Nextはsingle streamだけではなく、並列処理でも面白い挙動をします。
別のDGX Spark計測では、
1 stream : 17.1 tok/s aggregate
8 streams : 87.5 tok/s aggregate
16 streams : 131.6 tok/s aggregate
32 streams : 212.0 tok/s aggregate
48 streams : 266.8 tok/s aggregateという結果が掲載されています。
もちろん1ユーザーあたりのtok/sは下がります。
しかしサーバー全体のthroughputは大きく伸びています。
社内LLMとして複数ユーザーから同時に使うなら、
single-stream tokens/sだけでなくaggregate throughputを見る必要がある
ということです。
これは私の用途ではかなり重要です。
ではQwen3.8-27B-FP8はもう不要なのか
ここまで読むと、
「では27B-FP8を捨ててFlash-Nextへ移行すればいい」
と思うかもしれません。
しかし、そこまでは言えません。
27B-FP8には大きな利点があります。
公式FP8 checkpoint
構成が比較的シンプル
標準vLLMに近い
特殊patchが少ない
モデルサイズが小さい
起動・障害原因を切り分けやすい
アップデート追従が比較的簡単
特に業務用LLMサーバーでは、
速さだけでなく保守性も性能の一部
です。
blazuxは非常に面白いですが、多数のpatchと独自最適化に依存しています。
vLLM本体側にもFlash-Next対応が進んでおり、vLLM 0.29.0では一部の修正がupstreamされています。blazux自身もv0.29用recipeを用意しています。
今後は必要なpatchが減っていく可能性があります。
品質については別に検証する必要がある
速度が速くても、回答品質が落ちれば意味がありません。
特に私が重要視しているのは、
日本語
Coding
Tool Calling
MCP
Fusion MCP
長文解析
社内業務
複数ターンのagent処理
です。
Qwen公式ベンチマーク上では、Flash-Nextは1トークンあたりのアクティブパラメータを大幅に減らしながら、27Bと同等または上回る指標を出しているというのが非常に面白いところです。ただし、これはQwen公式の特定ベンチマークでの結果です。

blazuxではNVFP4とHybridを17シナリオ×3回のagentic tournamentで比較し、同じ45/51という結果だったと報告しています。
これは非常に興味深い結果です。
ただし、このベンチマークは私の実運用とは違います。
したがって、
「Flash-Nextの方が自分の用途でも高品質」
とはまだ言えません。
ここは同じプロンプトを使ったA/Bテストが必要です。
次に比較したい構成
現在私が使っているのは、
DGX Spark
+
Qwen3.8-27B-FP8
+
vLLMです。
次に試す候補は、
DGX Spark
+
Qwen3.8-Flash-Next NVFP4
+
blazux/qwen3.8-Flash-DGX
+
Hybrid modeです。
比較するなら、単純なtok/sだけでは足りません。
最低でも、
Decode tok/s
Prefill tok/s
TTFT
Unified Memory使用量
KV Cache容量
100k以上のlong context
日本語品質
Coding
Tool Calling
Fusion MCP
複数ユーザー同時利用
長時間安定性
を見るつもりです。
まとめ
今回調べて一番大きかったのは、
LLMは「何Bモデルか」だけでは推論速度を判断できない
ということです。
Qwen3.8-27B-FP8は27Bモデルです。
一方Qwen3.8-Flash-Nextは、
125B Main Model + 51B PLE
というはるかに巨大な構成を持っています。
しかしFlash-NextはMoEであり、Qwen公式値ではアクティブパラメータが6Bです。
さらにDGX Sparkでは、
Routed ExpertsをNVFP4
Dense side layersをFP8
巨大PLEをNVMe mmap
MTP speculative decoding
Prefix Cache
GB10専用kernel修正
を組み合わせることで、巨大なモデルを128GB ユニファイドメモリ環境で実用的にserveできるようになります。
だから見るべきなのは、
「何B載るか」だけではありません。
より重要なのは、
1トークン生成するときに何Bが実際に動き、何GBをメモリから読み、そのデータをどれだけ効率よく供給できるのか。
という視点です。
DGX SparkのようにGPUとCPUが128GBのユニファイドメモリを共有する環境では、この差が特に大きく出ます。
私のQwen3.8-27B-FP8は現在約18 tok/sです。
Flash-Next + blazuxには30 tok/s台後半の公開実測があります。
ただし、これはまだ同一条件比較ではありません。
本当に置き換える価値があるのか。
wen3.8-27B-FP8 vs Qwen3.8-Flash-Next NVFP4 + blazux
を実際に体感してみたいと思います。
参考リンク:
#DGXSpark #Qwen #Qwen38 #vLLM #Ollama #ローカルLLM #生成AI #AI #LLM #NVIDIA #Blackwell #GPU #Docker #Ubuntu #AI開発 #AIインフラ