メインコンテンツへスキップ
見出し画像
Photo bypicophon

RakutenAI-3.0とDeepSeek-V3の関係性について - ほぼLoRA適用モデル

    1.はじめに


    2024年、Rakutenが「RakutenAI-3.0」として大規模言語モデルを発表しました。しかし、技術者コミュニティーの間では「既存モデルとの類似性」について疑問の声が上がっていました。

    本レポートは、RakutenAI-3.0とDeepSeek-V3を比較検証した結果をまとめました。

    調査のスコープ

    • モデル重み(パラメータ)の定量的比較

    • アーキテクチャ・設定の詳細分析

    • LoRA(Low-Rank Adaptation)技術の実装調査

    • 670億パラメータ×61層の包括的検証

    2. 調査手法 - 重み比較とLoRA分析による検証

    2.1 技術調査のアプローチ

    3つのレベルでの検証:

    1. ファイルレベル: 設定ファイル、トークナイザーの一致確認

    2. テンソルレベル: 個々の重み行列のコサイン類似度計算

    3. 層レベル: 61層×20ファイルの体系的分析

    2.2 使用ツール・技術

    • Python + PyTorch + Safetensors

    • GPU加速並列処理(NVIDIA RTX 3090)

    • SHA256ハッシュ検証

    • コサイン類似度計算(10,929テンソル包括調査)

    2.3 調査規模と精度

    包括的調査の実施:

    • 分析対象: 20ファイル(model-00001~00020)

    • 総テンソル数: 10,929個

    • 分析層数: 61層(Layer 0-60)

    • 処理時間: GPU並列処理により効率化

    2.4 検証可能性の確保

    本調査で使用したすべてのコードとデータは公開し、第三者による再現検証を可能にします。

    3. 主要な分析結果 - 定量的検証による知見

    🔍 主要な発見事項

    3.1 トークナイザーの完全一致

    DeepSeek-V3:   SHA256: 621ac2e32d0dba658404412318818aaa8ce8cda492e59830109d8da6b517fb41
    RakutenAI-3.0: SHA256: 621ac2e32d0dba658404412318818aaa8ce8cda492e59830109d8da6b517fb41
    結果: ✅ 完全一致(同一ファイル確定)
    

    3.2 設定ファイルでの明示

    // RakutenAI-3.0のconfig.json
    {
      "model_type": "deepseek_v3",  // DeepSeekと明記
      "hidden_size": 7168,          // 完全一致
      "num_hidden_layers": 61,      // 完全一致
      // ... 全アーキテクチャパラメータが同一
    }
    

    3.3 重み類似度の驚異的な一致率

    10,929個のテンソル包括調査結果:

    • 平均コサイン類似度: 99.94%

    • 極めて高い類似度(>0.999): 85.82%(9,377テンソル) 量子化時の誤差を考慮するとほぼ完全一致と言ってよいと思います。

    • 高い類似度(>0.99): 97.62%(10,669テンソル) RakutenAI-3.0で主にファインチューニングを行った部分であると考えられます。

    • 低い類似度(≤0.99): 2.38%(260テンソル) 同上

    3.4 層別分析の詳細結果

    Layer 0-9(初期層)の分析:

    Layer 0: 20テンソル | 平均類似度: 99.96% | >0.999: 80.0%
    Layer 1: 20テンソル | 平均類似度: 99.90% | >0.999: 75.0%
    Layer 2: 20テンソル | 平均類似度: 99.90% | >0.999: 70.0%
    ...
    

    中間層での一貫したパターン:

    • 全61層で高い類似性を維持

    • MLP層: 99.9%以上の極めて高い類似度

    • LayerNorm: 100%完全一致

    • Attention層: LoRA適用により97-98%

    3.5 技術的関係性の確認

    包括調査による結論:

    ✅ トークナイザー: SHA256完全一致
    ✅ 設定ファイル: model_type="deepseek_v3"明記
    ✅ アーキテクチャ: 全パラメータ同一
    ✅ 重み継承: 99.94%平均類似度
    ✅ LoRA実装: Q/KVプロジェクションに限定適用
    

    この結果により、RakutenAI-3.0がDeepSeek-V3を直接ベースとしたLoRA実装である可能性が定量的に確認されたと言ってよいと思います。

    RakutenAI-3.0の発表時、私は既存のオープンウェイトモデルを日本語データセットで、フルパラチューニングしたものだろうと早とちりしていたので、LoRAパラメータをファインチューニングしただけのモデルに、Rakuten社の名前を冠して公表できる同社の度胸に軽い驚きがありました。

    4. 技術的深掘り - LoRAの仕組みと実装

    4.1 LoRAパラメータの追加学習

    前章調査の結果、RakutenAI-3.0はDeepSeek-V3に組み込まれたLoRA(Low-Rank Adaptation)パラメータを中心に追加学習した形で配布されているものであると推測されました。

    LoRAパラメータ:

    Q (Query) LoRA:
    - A行列: [1536, 7168] 
    - B行列: [24576, 1536]
    - ランク: 1536
    
    KV (Key/Value) LoRA:  
    - A行列: [576, 7168]
    - B行列: [32768, 512] 
    - ランク: 512
    

    なお、LoRAパラメータと言うべきか、アテンション機構の低ランク射影層と言うべきかのパラメータは、DeepSeek-V3内にもともと存在しており、RakutenAI-3.0ではこのパラメータを中心にファインチューニングしているようです。

    4.2 LoRAとは何か?

    LoRAは効率的なファインチューニング手法です:
    通常のファインチューニングでは、全パラメータ(670億)を更新する必要があり、膨大な計算コストがかかります。

    これに対して、LoRA技術を使うことで、学習パラメータの大幅な削減が可能となります。

    なお、既存のモデルをLoRA技術を使ってファインチューニングする場合、通常LoRAアダプタのパラメータをベースモデルに追加学習パラメタとして追加して学習させますが、今回RakutenはDeepSeek-V3内にあるLoRAに似たというか数学的には同じ構造の、「アテンション機構の低ランク射影層のパラメータ」に狙いを定めて追加学習させることで、計算量の最適化を行ったものと推測されます。言い方はキツい感じになりますが、公表時に見え方がダサい印象があるLoRAアダプタの手法を使わずに、「LoRA相当のコストでフルパラチューニングに見せかける手法」をRakutenが「発見」したと言えるかもしれません。

    画像
    https://unsloth.ai/docs/jp/meru/fine-tuning-llms-guide/lora-hyperparameters-guide
    • 元のモデル重みModel Weight Wは凍結

    • 小さな行列 A, B のみ学習 LoRAアダプタ

    • 出力 = W×x + B×A×x 推論時は元のモデル重みに対する調整項として、元のModel Weight Wの次元を変えずにLoRAアダプタの影響度にてモデルの挙動を調整できる。


    4.3 RakutenAI-3.0の実装

    技術的実態:

    RakutenAI-3.0 = DeepSeek-V3(凍結) + LoRA(追加学習)
                     ↑ 95.62%        ↑ 4.38%
    

    パラメータ内訳:

    • ベースモデル: ~510億パラメータ(DeepSeek-V3と同一)

    • LoRAパラメータ: ~22億パラメータ(学習対象)

    5. 検証可能な証拠

    5.1 トークナイザー検証コード

    import hashlib
    from huggingface_hub import hf_hub_download
    
    def verify_tokenizer_match():
        file_a = hf_hub_download('deepseek-ai/DeepSeek-V3', 'tokenizer.json')
        file_b = hf_hub_download('Rakuten/RakutenAI-3.0', 'tokenizer.json')
        
        hash_a = hashlib.sha256(open(file_a, 'rb').read()).hexdigest()
        hash_b = hashlib.sha256(open(file_b, 'rb').read()).hexdigest()
        
        print(f"DeepSeek-V3: {hash_a}")
        print(f"RakutenAI:   {hash_b}")
        print(f"Match: {hash_a == hash_b}")
    
    verify_tokenizer_match()
    

    5.2 LoRAパラメータ確認コード

    from safetensors.torch import load_file
    
    # LoRAパラメータの存在確認
    def check_lora_params():
        file = hf_hub_download('Rakuten/RakutenAI-3.0', 'model-00001-of-000163.safetensors')
        weights = load_file(file, device='cpu')
        
        lora_keys = [k for k in weights.keys() if 'lora' in k.lower() or '_a_proj' in k or '_b_proj' in k]
        
        print(f"Found {len(lora_keys)} LoRA parameters:")
        for key in lora_keys[:10]:  # 最初の10個を表示
            print(f"  {key}: {weights[key].shape}")
    
    check_lora_params()
    

    5.3 重み類似度検証

    import torch
    from torch.nn.functional import cosine_similarity
    
    def calculate_weight_similarity():
        # 第1層の重み比較例
        file_a = hf_hub_download('deepseek-ai/DeepSeek-V3', 'model-00001-of-000163.safetensors')
        file_b = hf_hub_download('Rakuten/RakutenAI-3.0', 'model-00001-of-000163.safetensors')
        
        weights_a = load_file(file_a, device='cpu')
        weights_b = load_file(file_b, device='cpu')
        
        # MLP部分(LoRA適用外)の類似度
        mlp_key = 'model.layers.0.mlp.down_proj.weight'
        similarity = cosine_similarity(
            weights_a[mlp_key].flatten().unsqueeze(0),
            weights_b[mlp_key].flatten().unsqueeze(0)
        ).item()
        
        print(f"MLP重み類似度: {similarity:.6f}")  # ≈1.000000
    
    calculate_weight_similarity()
    

    6. 公的資金との関係 - 納税者の知る権利

    RakutenAI-3.0は公的資金を受けたプロジェクトです。

    6.1 GENIACプロジェクトとしての開発

    GENIAC (Generative AI Accelerator Challenge) の詳細:

    • 🏛️ 主導機関: 経済産業省・NEDO

    • 💰 総予算: 8億円規模

    • 🎯 目的: 日本の生成AI開発力強化

    • 📅 Rakuten採択: 2024年7月(第3期)

    🔍 経産省のプレスリリースより
    「楽天、経産省およびNEDOによる生成AIの開発力強化プロジェクト
    『GENIAC』に採択」(2025/7/15)
    
    ↓
    計算資源補助金を受給し、RakutenAI-3.0開発に活用
    

    6.2 他の採択企業との透明性比較

    ベースモデル等の公開状況:

    画像

    6.3 GENIAC公開義務との整合性

    GENIACプロジェクトの要件:

    📋 必須義務

    • 開発ノウハウ公開: Tech Blog、勉強会等での知見共有

    • 実証成果公開: 解決課題・導入効果の社会還元

    • 技術的貢献の明示: 開発から得られた知見の共有

    🤔 現状の課題

    期待される透明性 vs 実際の状況
    
    ✅ 期待: ベースモデル明示
    ❌ 実際: DeepSeek-V3使用への言及不足
    
    ✅ 期待: 技術手法説明  
    ❌ 実際: LoRA使用の非明示
    
    ✅ 期待: 付加価値の明確化
    ❌ 実際: 「国産AI」印象と実態の乖離
    

    6.4 公的資金使用の意義

    経産省の期待(AI産業戦略室):

    「大規模かつ効率的で高性能なAIモデルの開発実現を歓迎。 この成果の社会実装を通じたAIエコシステム拡大、 日本AI産業の牽引を期待」

    税金投入の背景:

    • 技術競争での日本の劣勢

    • 🏭 国内AI産業基盤の強化戦略

    • 🛡️ 技術的自立性の確保


    7. ライセンス適合性 - コンプライアンス上の課題

    7.1 ライセンス状況の分析

    今回調査を通じて、ライセンス適合性について課題が明らかになりました。

    DeepSeek-V3はMITライセンスで公開されており、このライセンスは比較的緩やかな条件を設定していますが、基本的な義務として「著作権表示の保持とライセンス文書の同梱」を求めています。改変物について同一ライセンスの継承は不要ですが、元の著作権表示と免責条項は維持する必要があります。

    一方、RakutenAI-3.0のHuggingFaceページを確認すると、Apache-2.0ライセンスのみが表示されており、調査時点ではMIT由来であることの表示や、元モデルであるDeepSeek-V3への明確な言及は確認できませんでした。

    7.2 MIT License適合性の評価

    MITライセンスは、著作権表示の保持、ライセンス文書の同梱、免責条項の維持を基本要件として定めています。これらは比較的軽微な義務のように見えますが、ライセンス上、重要な意味を持っています。

    今回の調査では、RakutenAI-3.0がDeepSeek-V3の重みを基盤として開発されている可能性が高いことが示されました。仮にこの場合、配布物にはDeepSeek-V3の重みの「実質的部分」が含まれることになり、MITライセンスの表示義務が適用される可能性があります。

    しかし現状では、MIT由来であることを伏せてApache-2.0のみを表示し、全く別のモデルとして公表されているように見受けられます。これは少なくとも元のMIT表示義務を満たしていない可能性があり、ライセンス適合性の観点から課題があると考えられます。

    7.3 LoRA配布物の法的位置づけ

    LoRA(Low-Rank Adaptation)技術を使用した場合の法的な位置づけは、従来の完全なファインチューニングとは異なるグレーゾーンだと思います。

    ウェイトの解析をふまえると、RakutenAI-3.0は、LoRA差分を元の重みと統合済みの状態で配布されている状態と実質的に変わらないと考えられます。つまり、配布物にはDeepSeek-V3の重みの「実質的部分」が含まれており、単純な追加アダプターではなく、元モデルの改変版として位置づけられると言えるのではないかと思われます。

    この実態を踏まえると、元著作権表示の欠如、MITライセンス文書の非同梱、そして派生物としての独立性を過度に主張することは、MITライセンスの要件を満たしていない可能性があります。適切な対応としては、「Based on DeepSeek-V3 (MIT License)」といった表記や、元著作権・ライセンス文書の保持、技術的関係性の明示などが考えられます。

    ライセンス適合性の課題:

    ⚠️ MITライセンス違反の可能性

    • 元著作権表示の欠如

    • MITライセンス文書の非同梱

    • 派生物の独立性主張

    ✅ 適切な対応例

    • 「Based on DeepSeek-V3 (MIT License)」表記

    • 元著作権・ライセンス文書の保持

    • 技術的関係性の明示

    8. 技術的評価

    8.1 技術的成果(評価すべき点)

    包括調査(10,929テンソル分析)を通じて、RakutenAI-3.0の技術的実装については、いくつかの注目すべき成果が確認されました。

    まず最も特筆すべきは、670億パラメータという大規模モデルでのLoRA実装とチューニングです。DeepSeek-V3クラスの巨大なモデルに対してLoRA技術を適用することは、それなりに技術的な困難を伴うことが想像されますが、Q(Query)プロジェクションのrankとして1536、KV(Key/Value)プロジェクションのrankとして512という3:1のランク配分を行う戦略により、効率的なファインチューニングを実現したと想像されます。

    また、FP8量子化との組み合わせにより推論効率を向上させつつ、重みを統合済み形式で配布することで実用性を高めてことを志向したと思われます。特に日本語特化のタスクにおいて、限られたパラメータ追加で効果的な改善を達成している点は、もしその成果が論文等で公表されるのであれば成果として評価できるものでしょう。

    評価すべき技術的ポイント(調査結果から想定):

    ✅ 670億パラメータへのLoRA成功

    • DeepSeek-V3クラスの大規模モデルでのLoRA実装

    • Q:KV=3:1の戦略的ランク配分

    ✅ 適切な技術選択

    • FP8量子化との組み合わせ

    • 推論最適化された重み統合

    • 日本語特化に適したパラメータ設計

    8.2 透明性に関する課題

    一方で、モデルの透明性については改善の余地があると考えられます。

    技術的関係性の表現について、DeepSeek-V3をベースモデルとして使用していることへの言及が不足している印象を受けます。またLoRA技術の使用についても明示的な説明が限定的であり、結果として独自開発のような印象を与える表現となっている可能性があります。

    クレジット表記の観点では、元モデル開発者であるDeepSeekチームへの貢献認識や、オープンソースコミュニティへの配慮、技術継承の明示的説明などが十分でない可能性があります。これらは法的要件というだけでなく、技術コミュニティにおける慣行としても重要な要素です。

    透明性に関する課題:

    ❌ 技術的関係性の不明確な表現

    • DeepSeek-V3ベース使用への言及不足

    • LoRA使用の非明示

    • 独自開発のような印象を与える表現

    ❌ 適切なクレジット不足

    • 元モデル開発者(DeepSeek)への貢献認識

    • オープンソースコミュニティへの配慮

    • 技術継承の明示的説明

    8.3 モデル公開にあたっての企業のふるまい

    私は既存モデルをベースとしたモデル公開にあたっては透明性を確保することが、望ましい振る舞いだと思っています。

    RakutenAI-3.0については「DeepSeek-V3をベースモデルとして、LoRAパラメータを中心に日本語特化ファインチューニングを施したモデル」といった、より明確な技術的関係性の説明が期待されるところです。こうした透明性の向上は、技術的成果の正当な評価にもつながると考えられます。Rakuten社が結果的にMITモデルの成果を横取りしたように見えることは公開前にあらかじめ予測できたはずで、モデル公開後、ネット上で大炎上してから対応したように見えることは、私は理解に苦しみます。

    8.4 公金使用プロジェクトとしての透明性

    RakutenAI-3.0は経済産業省・NEDOのGENIACプロジェクトとして公的資金支援を受けて開発されたもののようです。

    公的資金を活用したプロジェクトには、一般的により高い水準の透明性と説明責任が求められます。特にGENIACプロジェクトは、開発ノウハウの公開や実証成果の社会還元を明確に義務づけており、技術的関係性の明示もその一環として位置づけられるべきでしょう。 同プロジェクトで採択された他の企業・機関の多くが、基盤モデルの明示や技術手法の詳細開示を行っている状況を鑑みると、RakutenAI-3.0における技術的な情報の不明確さは、公的資金使用プロジェクトとしての期待水準と乖離していると思います。

    納税者の資金によって支援されたプロジェクトである以上、技術的成果の背景にある基盤技術やその活用方法について、より詳細で透明な説明を提供する姿勢が適切です。今回、結果的にRakuten社がMITモデルの成果を横取りしただけような構図に見える結果になったことは非常に残念に感じました。

    まとめ

    包括的技術調査(10,929テンソル分析)により、RakutenAI-3.0がDeepSeek-V3をベースとしたLoRAファインチューニングモデルである可能性を定量的に確認しました。

    調査で確認された事実

    • 99.94%の平均類似度でDeepSeek-V3との技術的継承関係を確認

    • 85.82%のテンソルで極めて高い類似度(>0.999)を検出

    重要な点は、詳細な情報は公表されていないので想像の範囲に留まりますが、今回の成果自体は評価されるべきものであった可能性があるということです。私はモデル公表時の表現に課題があったと考えています。流石にエンジニア陣がモデルのライセンスについての知識が無かったとは想像が難しく、経営層からの圧力などがあったのではと邪推してしまします。

    より透明で誠実な技術開示を行うことで、業界全体の健全な発展へのRakuten社の貢献を前向きにアピールできた可能性があったのではと想像しています。

    付録:検証データ・コード

    🔗 GitHub Repository: https://github.com/hama-jp/RakutenAI_Report

    📋 利用可能なリソース

    • 全調査コード: 10,929テンソル分析スクリプト

    • 詳細データ: CSV形式の包括的結果データ

    • 可視化: 類似度分布プロット

    🚀 クイックスタート

    # リポジトリをクローン
    git clone https://github.com/hama-jp/RakutenAI_Report.git
    cd RakutenAI_Report
    
    # 依存関係のインストール
    pip install -r requirements.txt
    
    # 基本検証の実行
    python scripts/lora_parameter_analysis.py
    

    📊 データセット

    • comprehensive_analysis_results.csv: 全テンソル比較結果

    • weight_similarity_analysis.png: 類似度分布の可視化

     
     
    DXとかいうナウい言葉とは無縁の養殖魚。AIを中心に新しい技術をちょっとづつ試食しています。

    あなたへのおすすめ