メインコンテンツへスキップ
見出し画像

Qwen3.8-27Bの生成が2.7〜3.4倍速くなるDFlash 2が出ました。MLX対応なのでApple Siliconでも動きます

    ローカルLLMを使っていて一番つらいのは、生成が始まってから終わるまでの待ちです。モデルの賢さは足りていても、この待ちが理由で結局クラウドに戻ってしまう人は多いと思います。

    その待ちを縮める仕組みとして、DFlash 2が公開されました。Qwen3.8-27BとMetaのMuse Glimmer 30B向けのドラフターが同時にリリースされています。

    自分にとって大きいのは、MLXバックエンドがQwen3.8-27BのDFlash 2に対応していることです。つまりApple Siliconでも使えます。

    この記事でわかること。

    • DFlash 2が何をして速くしているのか

    • 公表されている速度の数字(何倍速くなるのか)

    • 対応しているモデルとバックエンド、入れ方

    そもそも投機的デコードとは

    DFlash 2は投機的デコード(speculative decoding)という手法の一種です。

    通常のLLMは、次の1トークンを予測して、それを入力に足して、また次の1トークンを予測して……という順番でしか進めません。1トークンごとに大きいモデルを1回ずつ動かすので、ここが待ち時間の正体になります。

    投機的デコードは、小さくて速い「ドラフター」に先の数トークンをまとめて予測させ、大きいモデルには「その予測が合っているかどうか」を一度にまとめて確認させます。当たっていた分はそのまま採用されるので、大きいモデルを動かす回数が減ります。

    大事なのは、出力の中身は変わらないことです。最終的に採用されるのは大きいモデルが承認したトークンだけなので、速くなるだけで答えが劣化するわけではありません。

    DFlash 2はこのドラフター部分に、ブロック拡散(block diffusion)という方式を使っています。1回のパスでトークンのブロックを丸ごと予測し、各位置で上位の候補を保持したまま先へ進みます。

    公表されている数字

    DFlash 2の開発元が出している数値です。

    投機的デコードの効きは「1回の検証パスで何トークン通ったか」(acceptance length)で測ります。GSM8Kでの結果は次の通りです。

    Qwen3.8-27B:

    • DFlash 2: 5.46

    • MTP(Qwenの公式ドラフター): 5.02

    • DSpark(コミュニティ製): 4.36

    Muse Glimmer:

    • DFlash 2: 6.57

    • DFlash(前世代): 5.43

    • DSpark: 5.45

    平均するとDFlash比で1.05トークン(21%)、DSpark比で0.48トークンの上乗せです。どちらのモデルでも、公式ドラフターを上回っているのが特徴です。

    実際のスループットでは、通常の自己回帰デコードと比べて次の倍率が報告されています。

    • Qwen3.8-27B: 2.7〜3.4倍

    • Muse Glimmer: 3.1〜4.6倍

    追加で発生するサイクル遅延は約1%とされています。ドラフターを動かすコスト自体はほとんど効いていない計算です。

    なお、これらはGSM8Kなど公開ベンチでの数字です。実際の伸びはプロンプトの内容で変わります。定型的で予測しやすい出力ほどドラフターが当たるので伸び、変化の大きい生成では倍率が下がります。

    対応モデルとバックエンド

    現時点でDFlash 2のチェックポイントが出ているのは2つだけです。

    • Qwen3.8-27B

    • Muse-Glimmer-30B

    前世代のDFlashのほうは対応が広く、Qwenの各世代、Gemma 4、MiniMax M2.5/M2.7、Kimi K2.5/K2.6/K2.7-Code、GPT-OSS、Llama-3.1-8B、GLM 5.1などが並んでいます。自分の使っているモデルがDFlash 2に無くても、DFlash側にはある可能性があります。

    バックエンドはSGLang、vLLM、llama.cpp、oMLXに対応しています。

    Apple Siliconで動かす場合に関係するのがMLXバックエンドです。ここでの対応状況は次のようになっています。

    • DFlash 2: Qwen3.8-27B

    • DFlash: Qwen3、Qwen3.5、Qwen3.6、Gemma 4

    Gemma 4を常用している場合はDFlash側で恩恵を受けられます。

    入れ方

    パッケージはpipで入ります。

    pip install dflash

    ローカル推論まで含めて動かす場合は、追加の依存を含めたほうを入れます。

    pip install "dflash[local]"

    vLLMやSGLangから使う場合は、投機的デコードの設定でアルゴリズムにDFLASHを指定し、ドラフターのモデルパスを渡す形になります。すでにvLLMでQwen3.8-27Bを立てているなら、起動時の投機設定を差し替えるだけです。

    チェックポイントはHugging Faceで配布されています。GGUF版も公開されているので、llama.cpp系で動かしている場合はそちらを探すのが早いです。

    前提として必要なメモリ

    DFlash 2はあくまで速度の話なので、モデル本体を載せられることが前提です。

    Qwen3.8-27Bは量子化すれば17GB程度で動きますが、これはモデルの重みの話で、実際にはコンテキスト分のKVキャッシュが上に乗ります。24GBのMacで長い入力を扱うと、途中で足りなくなることがあります。

    ドラフター用のモデルも別途メモリに載るので、その分の余裕も見ておく必要があります。ぎりぎりの構成で動かしている場合は、投機的デコードを足したことでかえって詰まる可能性があります。

    まとめ

    • DFlash 2はブロック拡散方式のドラフターで、投機的デコードを効かせる仕組み

    • Qwen3.8-27Bで自己回帰比2.7〜3.4倍、Muse Glimmerで3.1〜4.6倍のスループット

    • acceptance lengthはQwen3.8-27Bで5.46。公式ドラフターのMTP(5.02)を上回る

    • MLXバックエンドがQwen3.8-27BのDFlash 2に対応。Apple Siliconでも動く

    • 出力の中身は変わらず、速度だけが上がる

    `pip install dflash` から試せます。すでにQwen3.8-27Bをローカルで動かしているなら、モデルを入れ替えずに速度だけ改善できる部類の変更です。


    速度の前に、そもそもそのモデルが手元のメモリに載るかどうかが問題になることもあります。ローカル実行の必要量を実測でまとめています。




    同じQwen3.8 27Bで「M5 Ultraなら50 tok/s」という数字が出回っています。その出どころを自分で叩いて確かめた結果はこちらです。


     
     
    AI×開発の実験日記。Claude / Ollama / MLX を Mac で動かしたり自動化したり。SaaS勤務の30代、本業の合間に検証してnoteに書いてます。たまにやりすぎて寝不足。

    あなたへのおすすめ