メインコンテンツへスキップ

ぎりぎり動くのかGrEarl/Kimi-K3-GGUF-IQ1_S

    ぎりぎり動くのかGrEarl/Kimi-K3-GGUF-IQ1_S

    こんにちは、makokonです。
    連日ですが、Kimi-k3モデルの話です。
    K3モデルはオープンウェイトで、クローズドモデルの最先端にも匹敵するのですが、いかんせん大きい。とても個人で動かすのはやってられないと思っていたのですが、1bitモデルGrEarl/Kimi-K3-GGUF-IQ1_Sが出たことで、「ギリギリ個人が触れる可能性が見えてきたK3」という位置付けになりました。もちろん“普通のPC”ではありませんが、少なくとも「絶対無理」から「条件付きで可能」になっています。
    なので、簡単に概要と動作環境について確認しておきましょう。
    まずは、とりあえずモデルをロードできる512GB以上のRAM。
    そこからスタートするべきでしょう。

    なお、K3オリジナルについては、先日の記事を読んでいただければと

    概要

    このモデルは

    • Kimi K3(2.8T MoE)

    • GGUF形式

    • IQ1_S量子化

    • 約528GiB

    • 94分割ファイル

    です。

    モデルカードによると、

    • 元モデルサイズ:約1454GiB

    • IQ1_S版:約528GiB

    • 実効ビットレート約1.63bpw

    となっています。こんなサイズ感です。

    画像

    「528GBのVRAM」が必要なわけではない

    ここを誤解しやすいです。
    K3はMoEで、

    • 総パラメータ 2.8T

    • アクティブ 約104B

    という構造です。
    さらにK3向けllama.cppブランチには

    --cpu-moe

    系の機能があり、
    巨大なExpert群をCPU RAM側へ置きながら動かせます。
    つまり、VRAMよりもRAMの方が重要です。

    実際にローカルで動くのか

    モデルカードに掲載されている実行報告では、

    • RAM 512GB

    • Intel Sapphire Rapids系CPU

    • VRAM 96GB

      • RTX4090 ×1

      • RTX3090 ×3

    で動作しています。

    報告値は

    • プロンプト処理:約20 tok/s

    • 生成:約5 tok/s

    • 32Kコンテキスト

    です。

    動くんじゃないかなと感じる現実的な環境(個人の推定)

    これは私の推定ですが(以下は公式情報ではありません)、

    動く可能性が高い

    • RAM 512GB

    • VRAM 64GB以上

    • NVMe SSD


    かなり厳しいが可能性あり

    • RAM 384GB

    • VRAM 48GB級


    ほぼ無理

    • RAM 128GB

    • RAM 192GB

    理由は、モデルが528GiBあるためです。モデルカードには「512GB RAMで実行報告あり」とありますが、512GB未満で安定運用できるという情報は見当たりません。
    逆にメモリさえ豊富にあれば、GPUメモリは少なくても(もしかしたらなくても)動くかもしれません。(動くだけでしょうけど)
    おそらく4090を2枚、3枚と増やすより、RAMを512GB-1024GBとかにするほうが動く可能性は高いと思います。

    家庭用最強クラスなら?

    もしも、こんなレベルのPCなら、動作可能だとおもいます。

    • Ryzen Threadripper

    • RAM 512GB

    • RTX4090 ×1〜2

    実はここが重要で、従来はK3フルモデル = 個人では不可能でした。

    しかし、IQ1_S版は個人サーバーでも試せるかもしれないところまで下げてきています。

    LM StudioやOllamaで使える?

    ハードのことはさておき、Ollamaとかが使えれば、システム構築は楽になります。しかし、現時点では注意が必要です。
    モデルカードには、

    • リリース版 llama.cpp では動かない

    • Kimi-K3対応の開発ブランチが必要

    • Hugging Faceの自動生成されたOllama/vLLM使用例は無効

    と明記されています。

    したがって現状はこんな感じのやり方では動かないでしょう。

    LM Studio
    Ollama
    ↓
    そのままロード

    ハッシュタグ

    #KimiK3 #KimiK3GGUF #KimiK3IQ1S #MoonshotAI #オープンウェイトLLM #MoE #MixtureOfExperts #104Bアクティブ #2_8Tパラメータ #896Experts #16ExpertsActive #GGUF #llama_cpp #KimiK3対応ブランチ
    #開発版llama_cpp #ローカルLLM #ローカル推論 #IQ1_S量子化 #1bit量子化 #超低ビット量子化 #量子化モデル #528GBモデル #94分割GGUF #CPU_MoE #RAM重視 #512GBRAM   #マルチGPU #GPUオフロード #NVMeSSD #長文コンテキスト #100万トークン #大規模推論 #オープンモデル #KimiK3ローカル実行 #KimiK3動作環境


    あなたへのおすすめ