メインコンテンツへスキップ
見出し画像

DeepSeek V4.1 Flashはパラメータ数が3つ出てきます。552Bと748Bと484.6B、ダウンロードの実測は510.3GBでした

    DeepSeek V4.1-Flash が Hugging Face に上がりました。ライセンスはMITです。

    Hacker Newsでは473ポイント、r/LocalLLaMA でも上位を占めていて、話題の中心は「KVキャッシュが1トークンあたり890バイトまで縮んだ」という点でした。

    ただ、モデルサイズの話になると数字が噛み合いません。モデルカードには552B、Redditには748B、Hugging Faceの表示は484.6B。3つとも出典があって、3つとも正しいです。混ざっているだけでした。

    この記事でわかることは3つです。

    • 552B / 748B / 484.6B がそれぞれ何を数えた数字なのか

    • Hugging Face APIで実ダウンロード容量を自分で確認する手順

    • KVキャッシュ890バイトが、手元のMacにとって何を意味するか

    検証環境は MacBook Air(Apple M4・メモリ16GB・macOS 26.4)です。モデル本体は後述の理由で動かせないので、数字はモデルカードとHugging Face APIの実測値です。

    552B:バックボーンのパラメータ数

    モデルカードの冒頭にこう書かれています。

    a multimodal Mixture-of-Experts (MoE) model with 552B backbone parameters

    552Bは「バックボーン」の数です。40層のTransformerで、20層のcausal encoder と20層のdecoder に分かれた Causal Encoder-Decoder(CED)構成。MoE層ごとに共有エキスパート1つとルーテッドエキスパート384個を持ち、1トークンあたり6個だけ動きます。

    前世代と並べるとこうなります。

    • DeepSeek-V4-Flash:284B(アクティブ13B)

    • DeepSeek-V4-Pro:1.6T(アクティブ49B)

    • DeepSeek-V4.1-Flash:552B(アクティブ prefillで8B / decodeで16B)

    面白いのは、552BになったのにアクティブがV4-Flashの13Bより減って8Bになっていることですね。CEDでデコーダのグローバルKVキャッシュを各層から作らず、エンコーダ最終層の隠れ状態から投影する設計にしたためです。入力が長いエージェント用途を明確に狙った構成です。

    748B:Engramを足した数

    Redditで「552Bではなく748Bだ」という指摘が立っていました。これも正しいです。モデルカードの Additional architectural components にこう書いてあります。

    Engram conditional memory (196B parameters, sparsely accessed via token-based lookup)

    Engram という条件付きメモリが196Bあって、これはバックボーンの552Bに含まれていません。足すと748Bです。

    「条件付き」というのは、トークンベースのルックアップで疎にアクセスされる、つまり毎回全部を触るわけではない、という意味です。だからバックボーンとは別勘定になっている。ただし別勘定なだけで、ディスクには載っています。ここが「載るか載らないか」を判断するときに効いてきます。

    484.6B:実際に配布されているテンソルの合計

    3つめが Hugging Face の表示する484.6Bです。これはリポジトリに置かれた safetensors のメタデータを合計した数で、APIから自分で取れます。

    curl -s "https://huggingface.co/api/models/deepseek-ai/DeepSeek-V4.1-Flash?blobs=true" -o ds.json

    中身を集計します。

    python3 -c "
    import json
    d = json.load(open('ds.json'))
    st = d['safetensors']
    print('合計パラメータ: %.1fB' % (st['total'] / 1e9))
    for k, v in sorted(st['parameters'].items(), key=lambda x: -x[1]):
        print('  %-10s %.1fB (%.1f%%)' % (k, v/1e9, v/st['total']*100))
    files = [s for s in d['siblings'] if s['rfilename'].endswith('.safetensors')]
    size = sum(s.get('size', 0) or 0 for s in files)
    print('safetensors: %d ファイル / %.1f GB' % (len(files), size/1e9))
    "

    手元で走らせた結果はこうでした。

    • 合計パラメータ:484,619,644,114(約484.6B)

    • I8(8bit整数):278.6B(57.5%)

    • F8_E4M3(FP8):204.0B(42.1%)

    • BF16:1.98B

    • F32:0.04B

    • safetensors:48ファイル / 510.3GB

    つまり484.6Bという数字は、すでに量子化された状態で配布されているテンソルの合計です。552Bのバックボーンから、共有される部分やインデクサ関連を差し引いた実体、というのが実態に近い読み方になります。

    そして注目したいのは、484.6Bのパラメータで510.3GBあることです。1パラメータあたり約1.05バイト。I8とFP8で98.6%を占めているので、ほぼ「1パラメータ=1バイト」で配布されているわけですね。BF16配布なら倍近くになっていた計算です。

    手元のMacには載りませんでした

    510.3GBです。M4の16GBには、単純計算で31.9台分必要になります。

    外付けSSDに置いてメモリマップで、という手も浮かびますが、MoEで6エキスパートしか動かないとはいえ、どのエキスパートが呼ばれるかは事前にわかりません。結局は全部を高速に読める場所へ置く前提になります。

    ここは正直に書いておきます。このモデルは個人のMacで動かすものではありません。M3 Ultra 512GB でも足りない。話題になっている「890バイト」を自分の環境で体感できる人は、現時点でほぼいないと思っておいたほうがいいです。

    それでもKVキャッシュ890バイトが効く理由

    じゃあ何が嬉しいのか。数字を並べると見えてきます。

    モデルカードの記述はこうです。

    reduce the global KV cache footprint to 890 bytes per token — roughly 1/4 of DeepSeek-V4-Flash

    図の説明には、V4-Flash比で約4分の1、V1比で約437分の1とあります。逆算するとこうなります。

    • DeepSeek-V1:1トークンあたり約380KB

    • DeepSeek-V4-Flash:1トークンあたり約3,560バイト

    • DeepSeek-V4.1-Flash:1トークンあたり890バイト

    これを最大コンテキストの100万トークンに掛けると、KVキャッシュは約849MBです。

    ここが今回いちばん引っかかったところでした。うちのM4 16GBに、100万トークンぶんのKVキャッシュは余裕で載ります。載らないのは重みのほうだけなんです。V1の設計のままだと同じ100万トークンで約380GBになるので、そもそも土俵にすら上がれませんでした。

    ローカルで長文を扱うときにメモリが破裂するのは、多くの場合モデル本体ではなくKVキャッシュ側です。そこが437分の1になったという事実は、将来もっと小さいモデルに同じ設計が降りてきたときに効いてきます。「今すぐ動かせるか」ではなく「この設計が小型機に降りてくるか」を見ておくニュースですね。

    なお、SWA Bounded Replay という仕組みで、永続化するKVキャッシュはさらにV4-Flashの約8分の1になるとも書かれています。SWAのKV状態をSSDに書かず、直近nウィンドウぶんを再生して復元する方式です。

    性能はどうなのか

    ベースモデルの比較も出ています。V4-Flash(284B)とV4-Pro(1.6T)との3者比較で、V4.1-Flashが勝っている項目を挙げます。

    • MMLU-Pro:74.1(V4-Pro 73.5、V4-Flash 68.3)

    • BigCodeBench Pass@1:60.6(V4-Pro 59.2、V4-Flash 56.8)

    • HumanEval Pass@1:79.4(V4-Pro 76.8、V4-Flash 69.5)

    • GSM8K:93.0(V4-Pro 92.6、V4-Flash 90.8)

    コードと算数では1.6TのV4-Proを上回っています。一方で世界知識は差が開いていて、SimpleQA-Verified は42.3に対しV4-Proが55.2、MultiLoKo も45.5対50.9でPro側です。

    知識を広く引くタスクは大きいモデル、コードと数学は新しい設計、という素直な結果になっていますね。アクティブパラメータが8Bから16Bであることを考えると、コード系のスコアはかなり効率がいいです。

    そのほかの仕様

    • コンテキスト長:最大100万トークン(学習34Tトークン時点で1Mへ拡張)

    • 学習データ:45Tトークンのマルチモーダルコーパス

    • 最大生成長:256Kトークン

    • 推論の強さ:1〜100の連続値で指定可能

    • 画像とテキストをネイティブに処理(DeepSeek-ViT・2D-RoPE)

    • 投機的デコード:DSpark(半自己回帰のドラフト生成)

    • ライセンス:MIT

    まとめ

    • 552Bはバックボーン、748Bは Engram 条件付きメモリ196Bを足した数、484.6Bは配布されているsafetensorsの合計。どれも出典があり、数えている対象が違うだけ

    • 実ダウンロードは48ファイル・510.3GB。I8とFP8で98.6%を占めるので、ほぼ1パラメータ1バイトで配布されている

    • M4 16GBには31.9台分足りない。個人のMacで動かすモデルではない

    • ただしKVキャッシュは1トークン890バイトで、100万トークンでも約849MB。重みは載らないのにコンテキストは載る、という逆転が起きている

    パラメータ数の食い違いを見かけたら、上のcurlとpythonを走らせるのが一番早いです。記事やSNSの数字を待つより、safetensorsのメタデータを直接数えたほうが確実ですね。

    一次ソース:https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash


    「公称サイズを見て買ったのに載らなかった」を先にやったのがGLM-5.2でした。最低223GBという数字にどう辿り着いたか、必要な構成と実費まで詰めてあります。


     
     
    AI×開発の実験日記。Claude / Ollama / MLX を Mac で動かしたり自動化したり。SaaS勤務の30代、本業の合間に検証してnoteに書いてます。たまにやりすぎて寝不足。

    あなたへのおすすめ