メインコンテンツへスキップ

Kimi-K3技術レポート

    Kimi-K3技術レポート

    こんにちはmakokonです。
    Kimi-K3の技術レポートとウェイトが公開されました。
    今回はほんの触りだけ紹介します。
    あまりに巨大なモデルなので、量子化モデル以外では簡単に試せないですが、どんな特徴を持つモデルなのかさらっておきましょう。

    report

    weight

    Kimi K3とはどんなモデル

    Kimi K3は、Moonshot AIが開発した2.8兆(2.8T)パラメータを持つ、オープンウェイトのネイティブ・マルチモーダル・エージェント・モデルです。世界初のオープンな3Tクラスのモデルとして、長期にわたる(long-horizon)コーディング、エージェント・タスク、知識、推論、視覚タスクにおいてフロンティアレベルの性能を発揮するように設計されています。

    主な特徴と技術的詳細は以下の通りです。

    1. 巨大なスケールと効率的なアーキテクチャ

    • パラメータ数: 総パラメータ数は2.8兆ですが、Mixture-of-Experts(MoE)構造を採用しており、トークンごとに活性化されるのは1040億(104B)パラメータのみです。

    • 新しいアーキテクチャ: 情報の流れを効率化する「Kimi Delta Attention (KDA)」と「Attention Residuals (AttnRes)」を基盤としています。

    • Stable LatentMoE: 896個の専門家(エキスパート)から16個を活性化する極めて疎なMoEフレームワークを採用しており、前モデル(Kimi K2)に比べてスケーリング効率が約2.5倍向上しています。

    2. 長文脈とネイティブ・マルチモーダル機能

    • 100万トークンの文脈窓: 最大100万トークンという非常に長いコンテキストウィンドウをサポートしており、膨大な資料や長時間ビデオの処理が可能です。

    • ネイティブ・ビジョン: テキスト、画像、ビデオを同一のバックボーンで処理する「MoonViT-V2」を搭載しています。これにより、コードを書いてその実行結果(スクリーンショットなど)を視覚的に確認し、修正するといった「Vision-in-the-loop」の動作が可能です。

    3. 高度なエージェント能力

    • 強化学習 (RL) の重視: コーディング、一般的なエージェント、推論タスクにおいて大規模な強化学習が行われており、数百から数千のツール呼び出しを伴う複雑なワークフローを自律的に遂行できます。

    • 思考(Thinking)機能: モデルは常に「思考内容(reasoning_content)」を生成する機能が有効になっており、ユーザーの要求に応じて「Low」「High」「Max」といった思考の努力レベル(Thinking Effort)を調整できます。

    4. 性能と位置づけ

    • ベンチマーク: 多くのベンチマークにおいて、Claude Fable 5やGPT-5.6 Solといった最新の主要な商用モデルに次ぐ、あるいはそれらに匹敵する性能を達成しています。

    • 高いコスト効率: 商用モデルと比較して、同等以上の性能をより低い推論コストで提供できることが示されています。

    Kimi K3は、研究やデプロイメントを促進するためにモデル重みがフル公開されており、コミュニティによるさらなる革新が期待されています。

    新しいアーキテクチャ:「Kimi Delta Attention (KDA)」と「Attention Residuals (AttnRes)」とは

    Kimi K3のアーキテクチャにおいて、**Kimi Delta Attention (KDA)とAttention Residuals (AttnRes)**は、情報の流れをそれぞれ「シーケンスの長さ」と「モデルの深さ」の次元で効率的にスケーリングするための中心的な役割を果たしています。

    それぞれの詳細は以下の通りです。

    1. Kimi Delta Attention (KDA)

    KDAは、非常に長いコンテキストにおけるトークン間の混合(情報伝達)を効率化するための仕組みです。

    • ハイブリッド構造: Kimi K3では、3つのKDAレイヤーと1つのGated MLA(Multi-head Latent Attention)レイヤーを組み合わせたハイブリッド・アテンションを採用しています。これにより、長いコンテキストの処理効率を維持しつつ、高い表現力を確保しています。

    • メカニズム: デルタルール再帰(delta-rule recurrence)に、チャンネルごとの「忘却ゲート(forget gate)」を導入した形式をとっています。

    • 計算の効率化: Kimi K3のKDAでは、対数減衰(log-decay)をスケーリングされたシグモイド関数で下限設定(Lower-bounded decay)する手法を導入しました。これにより、計算過程で数値が発散するのを防ぎ、従来のボトルネックだった部分をTensor Coreを用いた高速な密行列演算で処理できるようになり、計算効率が大幅に向上しました。

    • フルランク・ゲート: 出力側には、入力依存のフルランク投影を用いたゲート機構が搭載されており、情報の流れを精密に制御します。

    2. Attention Residuals (AttnRes)

    AttnResは、モデルの深さ方向における情報の流れを改善するための技術です。

    • 従来の残差接続との違い: 通常の残差接続(Residual Connection)は、前の層の情報を単に加算して蓄積するだけですが、これは深いネットワークにおいて情報がボトルネックになる原因となります。AttnResは、アテンションの仕組みを「層の深さ」に対して適用することで、各レイヤーがそれより前のすべてのレイヤーの表現を「選択的に」取得できるようにします。

    • 学習可能な疑似クエリ: 学習可能な疑似クエリ(w)を用いて、埋め込み層や先行するブロックの出力に対するアテンション重みを算出します。これにより、各層が必要な情報を過去のどの深さからでも自由に引き出せるようになります。

    • Block AttnResによる効率化: すべての層に対して個別にアテンションを行うとメモリ負荷が高くなるため、Kimi K3では層をいくつかのブロック(K3では8つのブロック)に分割し、ブロック単位で情報の集約と取得を行う「Block AttnRes」を採用しています。これにより、推論時のコストを抑えつつ、深さ方向のスケーリング効果を得ることに成功しています。

    これら2つの技術は、Stable LatentMoE(幅方向のスケーリング)と組み合わさることで、前モデルのKimi K2と比較して全体的なスケーリング効率を約2.5倍向上させています。

    KDAの働き図解(レポートFigure 2より)

    図2(Figure 2) および関連する技術解説に基づき、Kimi Delta Attention (KDA) の働きについて解説します。

    図2の左下に示されているKDAモジュールは、Kimi K3における「トークンの混合(token mixing)」、つまり長いシーケンス内での情報の伝達を効率的に行うための核心的な仕組みです。

    画像

    1. 入力処理と射影(図2:左下モジュールの入力部)

    入力された隠れ状態 xtxt​ は、複数の線形層(Linear)や畳み込み層(Conv)を経て、以下の5つの重要な要素へと射影されます。

    • q,k,vq, k, v (Query, Key, Value): アテンションの基本要素です。図2では、これらがShortConv(短い畳み込み)とSwish活性化関数を経て生成され、qq と kkはさらに L2Norm によって正規化される様子が描かれています。

    • α (Retention Factor): チャンネルごとの「忘却ゲート」として機能し、過去の情報をどの程度保持するかを制御します。

    • β (Write Strength): デルタルールに基づき、現在の新しい情報をどの程度の強さで状態に書き込むかを制御します。

    2. 再帰的な状態更新と数値的安定性

    KDAは、再帰的な状態 StS_t を維持することで、過去のコンテキスト情報を固定サイズのメモリに蓄積します。

    • デルタルールの拡張: 従来のデルタルール再帰に、チャンネルごとの忘却ゲート(α)を組み合わせています。

    • Tensor Coreの活用(図3関連): 図2の内部処理には明示されていませんが、Kimi K3では αの値をシグモイド関数で下限設定(Lower-bounded decay)しています。これにより、数値の発散を抑え、GPUの Tensor Coreを用いた高速な密行列演算 が可能になり、計算効率が大幅に向上しています。

    画像
    FIG3 αの下限設定

    3. 出力ゲート機構(図2:KDAモジュール上部)

    再帰処理によって得られた出力 o~t\tilde{o}_t​ は、最終的にゲート制御されます。

    • RMSNorm: 出力に対して正規化を行います。

    • フルランク・ゲート: 入力 xtx_t から生成されたシグモイド(σ)によるゲート信号を用いて、情報をフィルタリングします。図2では、入力  xtx_t から伸びる線がシグモイドを経て、正規化された出力と掛け合わされる様子が示されています。

    4. ネットワーク内での役割(図2:中央のブロック構造)

    図2の中央部分を見ると、1つの「ブロック」は以下の構成になっています。

    画像


    • 3× KDA: 3つのKDAレイヤーが連続し、効率的な長いシーケンスの混合を担当します。

    • 1× Gated MLA: 1つのGated MLAレイヤーが続き、グローバルなアテンションを補完します。

    • 各アテンション層の後に Stable LatentMoE がペアで配置され、チャネル混合を行います。

    このようにKDAは、図2のアーキテクチャにおいて、100万トークンという極めて長い文脈を効率的かつ安定して処理するための基盤として機能しています。

    Stable latentMoE:

    画像


    事前学習

    Kimi K3の事前学習におけるデータ、スケール則、学習レシピ、および長文脈(Long-Context)への拡張について解説します。

    1. 事前学習データ

    Kimi K3のデータセットは、テキストとビジョンの両方において質と量の両面で洗練されています。

    • テキストドメイン: ウェブテキスト、コード、数学、知識の4つの主要ドメインからなる厳選されたコーパスを使用しています。

    • データの精製: ルールベースのヒューリスティック、分類器による品質スコアリング、重複排除を組み合わせてフィルタリングを行っています。また、知識や数学のコーパスについては、多様なプロンプトを用いたリフレーズや、元の文書との整合性検証を通じて、質と多様性を高めています。

    • ビジョン・マルチモーダルデータ: 説明文付き画像、インターリーブされた文書、OCR、動画などに加え、プログラムによるマルチモーダルデータ(SVG、3Dアセット、ウェブページ、CAD回路図などのコードとそのレンダリング結果のペア)を大幅にスケールアップして活用しています。

    2. スケール則(Scaling Law)

    Kimi K3では、アーキテクチャやデータの改善に合わせて、最適な学習レジームを特定するための専用の調査が行われました。

    • 効率の向上: バッチサイズ、学習率、パラメータあたりのトークン比率、モデル形状などのハイパーパラメータを再調整した結果、前モデル(Kimi K2)と比較して全体的なスケーリング効率が約2.5倍向上しました。

    • 学習率スケジュールの選択: 「Warmup Stable Decay (WSD)」と「Cosine Decay」を、それぞれ独立して最適化した条件で比較した結果、Cosine Decayの方が最終的な損失(Loss)が安定して低くなることが確認され、デフォルトのスケジュールとして採用されています。

    画像

    3. 学習レシピ(Training Recipe)

    Kimi K3は、単なるテキストモデルに視覚機能を後付けするのではなく、最初から統合された形で学習されています。

    • ネイティブ・マルチモーダル最適化: 学習の開始時から言語とビジョンを共同で最適化する手法を採用しています。テキストトークンと視覚トークンを同一の次トークン予測目標の中でインターリーブさせることで、バックボーンが最初から統一されたマルチモーダル表現を学習できるようにしています。

    • 最適化手法: 行列パラメータの更新には「Per-Head Muon」オプティマイザを使用し、アテンションのヘッド間で学習のダイナミクスを均一化しています。

    • 安定化技術: MoEの負荷分散には、バイアス調整を自動化する「Quantile Balancing (QB)」を導入し、極めて疎な構造でも安定した学習を実現しています。また、量子化による精度低下を防ぐため、SFT段階から量子化を意識した学習(QAT)を適用しています。

    4. 長文脈への拡張(Long-Context Extension)

    100万トークンという広大なコンテキストウィンドウを実現するために、段階的なアプローチが取られています。

    • 位置エンコーディングの撤廃 (NoPE): 明示的な位置エンコーディングを使用せず、KDAの再帰的なゲート・減衰メカニズムを通じて位置情報を暗黙的にエンコードします。これにより、RoPEの再スケーリングなどの修正なしで、100万トークンまで直接補外が可能になっています。

    • 長文脈データの合成: 単に長い文書を学習させるだけでなく、情報の断片を100万トークンの中に分散させ、そのすべてに注意を払わないと解けないようなタスクを合成することで、モデルが局所的なパターンに陥るのを防いでいます。

    • 4段階のカリキュラム学習: 文脈窓を8Kから開始し、事前学習中に64Kへ、さらにクールダウンフェーズで256Kから1Mへと段階的に拡張しています。この段階的なアプローチにより、計算コストを抑えつつ、モデルを徐々に長距離の依存関係に適応させています。

    ポストトレーニング

    Kimi K3のポストトレーニングは、モデルに高度な推論能力、ツール利用、自律的なエージェント機能を覚えさせるために、以下の3つのステージで構成されています。

    ポストトレーニングの3段階プロセス

    1. 教師あり学習 (SFT): RLの土台となる高品質な「初期ポリシー」を構築します。先行モデルから生成された複雑なエージェントの軌跡データを使用し、XTML形式でモデルに学習させます。

    2. 強化学習 (RL): 推論能力と実行能力を飛躍的に高める中心的なステージです。一般タスク、エージェントタスク、コーディングの3ドメインにおいて、思考の努力レベル(Low, High, Max)を変えながら、数千ステップに及ぶ長期の試行錯誤を通じて学習させます。

    3. マルチティーチャー・オンポリシー蒸留 (MOPD): RLで作成された計9つの専門家モデル(3ドメイン × 3努力レベル)の能力を、1つの統合されたモデルに集約します。これにより、1つのモデルで多様なドメインと推論レベルを使い分けられるようになります。

    各エージェント環境とタスクの詳細 (4.2.X節)

    各節のタスクは、特定の能力を強化するために設計されています。
    この部分は重要です。どのような能力に優れたモデルになってほしいかという開発者の意図が感じられるためです。

    • 4.2.1 統合ホワイトボックス環境: 特定のツール形式やシステムプロンプトに依存せず、多様なツール利用環境に適応できる汎用性を覚えるためのタスクです。主流なエージェントフレームワークを模した構成を動的に切り替えて学習させます。

    • 4.2.2 知識グラフによるタスク合成: 網羅的かつ深いドメイン知識を身につけるためのタスクです。エージェントが自律的に構築・拡張した知識グラフからウェブ上の最新資料を収集し、それに基づいた専門性の高い課題を合成して学習させます。

    画像
    • 4.2.3 検証可能な問題 (エージェント環境): 複雑な探索、投資、法律、視覚的推論における多段階の思考プロセスを覚えさせるタスクです。Pythonを用いた画像の編集や計算など、実行結果が正誤として検証できる環境で「考えては試す」ループを繰り返します。

    • 4.2.4 カーネル最適化タスク: CUDAやTritonを用いたGPUプログラミングの性能向上能力を覚えるタスクです。コードの正しさだけでなく、実行速度を報酬として与えることで、ハードウェアの限界に近い最適化手法を学習します。

    • 4.2.5 パーソナルアシスタントタスク: GmailやSlackなどのアプリを跨いだ数日間にわたる長期ワークフローを覚えるタスクです。模擬アプリ環境で、数千回のツール呼び出しを伴う実務的なタスク(人事や財務など)を自律的に遂行させます。

    • 4.2.6 自律実行タスク (AET): 外部からのフィードバックに基づき、計画立案、エラー復帰、自己修正を覚えるタスクです。リファレンス(お手本)なしで、目標と制約だけが与えられた環境において、検証機からの結果を分析して戦略を適応させる能力を鍛えます。

      • 「カメラ修理管理システムの複製(Camera Repair Management System Replication)」というタスクの結果

      • Kimi K3が他モデルと比較して、自律的なタスク分解、計画立案、エラー復帰を高度に行い、最終的な目標状態まで確実に到達できる能力(自律実行能力)を持っていることを証明

    画像
    • 4.2.7 ウェブ開発タスク: 3D、ゲーム、ダッシュボードなどの高度な視覚的成果物の作成能力を覚えるタスクです。コンテナ化されたサンドボックスで実際にウェブサイトを構築させ、その見た目や機能性を報酬モデルによって評価・学習させます。

    公開モデルについて

    Kimi K3の公開モデルの概要、入手場所、および試用方法について解説します。

    公開モデルの概要

    Kimi K3は、オープンウェイト(Open-weight)モデルとして公開されており、研究やデプロイメント、さらなる革新を促進するためにフルモデルウェイトがリリースされています。世界初のオープンな3Tクラス(2.8兆パラメータ)のモデルであり、独自の「Kimi K3 License」に基づいて提供されています。

    どこにありますか

    主な公開場所はHugging Faceです。

    • リポジトリ名: moonshotai/Kimi-K3

    • 内容: フルモデルウェイト、モデルカード、およびデプロイ用ドキュメントが含まれています。

    推奨環境

    モデルの規模が非常に大きいため(総パラメータ2.8兆)、効率的な推論のために以下のエンジンが推奨されています。

    • 推奨推論エンジン: vLLM、SGLang、TokenSpeed

    • 量子化の活用: メモリフットプリントを抑えるため、MXFP4(重み)/ MXFP8(活性化)による量子化が適用されています。また、コミュニティによって作成されたGGUF形式などの量子化モデルを、llama.cppやOllamaなどで利用することも可能です。

    最低限お試しする方法

    1. ローカルでお試し

    自身のPCやサーバーで動かすには、以下の方法があります。

    • ライブラリ/エンジンを利用: vLLMやSGLangなどのDockerイメージ、またはpipによるインストールでモデルをサービングできます。

    • 軽量版(量子化モデル)を利用: Hugging Face上の量子化モデルを検索し、llama.cpp、Ollama、LM Studioなどのアプリに読み込ませることで、より少ないリソースで動作させることができます。

    • CLIツール: Kimi Code CLIをインストールし、/modelコマンドでKimi K3を選択することで、コーディングエージェントとして利用可能です。

    2. WEBでお試し

    環境構築なしで、ウェブブラウザからすぐに試す方法です。

    • Kimi Platform API: https://platform.kimi.ai からAPIキーを取得し、OpenAI/Anthropic互換のAPIを通じて利用できます。モデル名として kimi-k3 を選択します。

    • HuggingChat: Hugging Faceが提供するチャットインターフェース「HuggingChat」を通じて直接対話が可能です。

    • Hugging Face Spaces: 他のユーザーが公開しているデモ用スペース(例:lalopenguin/kimi-k3-chatなど)で、GUIベースのチャットを試せます。

    技術者向けの記事に役立つ重要キーワード

    モデル全般・規模感

    核心アーキテクチャ

    学習・機能特性

    エージェント・推論能力

    インフラ・最適化(実装寄り)



    あなたへのおすすめ