ぎりぎり動くのかGrEarl/Kimi-K3-GGUF-IQ1_S
ぎりぎり動くのかGrEarl/Kimi-K3-GGUF-IQ1_S
こんにちは、makokonです。
連日ですが、Kimi-k3モデルの話です。
K3モデルはオープンウェイトで、クローズドモデルの最先端にも匹敵するのですが、いかんせん大きい。とても個人で動かすのはやってられないと思っていたのですが、1bitモデルGrEarl/Kimi-K3-GGUF-IQ1_Sが出たことで、「ギリギリ個人が触れる可能性が見えてきたK3」という位置付けになりました。もちろん“普通のPC”ではありませんが、少なくとも「絶対無理」から「条件付きで可能」になっています。
なので、簡単に概要と動作環境について確認しておきましょう。
まずは、とりあえずモデルをロードできる512GB以上のRAM。
そこからスタートするべきでしょう。
なお、K3オリジナルについては、先日の記事を読んでいただければと
概要
このモデルは
Kimi K3(2.8T MoE)
GGUF形式
IQ1_S量子化
約528GiB
94分割ファイル
です。
モデルカードによると、
元モデルサイズ:約1454GiB
IQ1_S版:約528GiB
実効ビットレート約1.63bpw
となっています。こんなサイズ感です。

「528GBのVRAM」が必要なわけではない
ここを誤解しやすいです。
K3はMoEで、
総パラメータ 2.8T
アクティブ 約104B
という構造です。
さらにK3向けllama.cppブランチには
--cpu-moe系の機能があり、
巨大なExpert群をCPU RAM側へ置きながら動かせます。
つまり、VRAMよりもRAMの方が重要です。
実際にローカルで動くのか
モデルカードに掲載されている実行報告では、
RAM 512GB
Intel Sapphire Rapids系CPU
VRAM 96GB
RTX4090 ×1
RTX3090 ×3
で動作しています。
報告値は
プロンプト処理:約20 tok/s
生成:約5 tok/s
32Kコンテキスト
です。
動くんじゃないかなと感じる現実的な環境(個人の推定)
これは私の推定ですが(以下は公式情報ではありません)、
動く可能性が高い
RAM 512GB
VRAM 64GB以上
NVMe SSD
かなり厳しいが可能性あり
RAM 384GB
VRAM 48GB級
ほぼ無理
RAM 128GB
RAM 192GB
理由は、モデルが528GiBあるためです。モデルカードには「512GB RAMで実行報告あり」とありますが、512GB未満で安定運用できるという情報は見当たりません。
逆にメモリさえ豊富にあれば、GPUメモリは少なくても(もしかしたらなくても)動くかもしれません。(動くだけでしょうけど)
おそらく4090を2枚、3枚と増やすより、RAMを512GB-1024GBとかにするほうが動く可能性は高いと思います。
家庭用最強クラスなら?
もしも、こんなレベルのPCなら、動作可能だとおもいます。
Ryzen Threadripper
RAM 512GB
RTX4090 ×1〜2
実はここが重要で、従来はK3フルモデル = 個人では不可能でした。
しかし、IQ1_S版は個人サーバーでも試せるかもしれないところまで下げてきています。
LM StudioやOllamaで使える?
ハードのことはさておき、Ollamaとかが使えれば、システム構築は楽になります。しかし、現時点では注意が必要です。
モデルカードには、
リリース版 llama.cpp では動かない
Kimi-K3対応の開発ブランチが必要
Hugging Faceの自動生成されたOllama/vLLM使用例は無効
と明記されています。
したがって現状はこんな感じのやり方では動かないでしょう。
LM Studio
Ollama
↓
そのままロードハッシュタグ
#KimiK3 #KimiK3GGUF #KimiK3IQ1S #MoonshotAI #オープンウェイトLLM #MoE #MixtureOfExperts #104Bアクティブ #2_8Tパラメータ #896Experts #16ExpertsActive #GGUF #llama_cpp #KimiK3対応ブランチ
#開発版llama_cpp #ローカルLLM #ローカル推論 #IQ1_S量子化 #1bit量子化 #超低ビット量子化 #量子化モデル #528GBモデル #94分割GGUF #CPU_MoE #RAM重視 #512GBRAM #マルチGPU #GPUオフロード #NVMeSSD #長文コンテキスト #100万トークン #大規模推論 #オープンモデル #KimiK3ローカル実行 #KimiK3動作環境
- #ローカルLLM
- #MOE
- #Kimik3
- #gguf
- #MoonshotAI
- #オープンモデル
- #100万トークン
- #マルチGPU
- #MixtureofExperts
- #NVMeSSD
- #llama_cpp
- #ローカル推論
- #長文コンテキスト
- #量子化モデル
- #オープンウェイトLLM
- #KimiK3動作環境
- #KimiK3ローカル実行
- #大規模推論
- #GPUオフロード
- #512GBRAM
- #RAM重視
- #CPU_MoE
- #94分割GGUF
- #528GBモデル
- #超低ビット量子化
- #IQ1_S量子化
- #開発版llama_cpp
- #KimiK3対応ブランチ
- #16ExpertsActive
- #896Experts
- #2_8Tパラメータ
- #104Bアクティブ
- #KimiK3IQ1S
- #KimiK3GGUF
- #1bit量子化