メインコンテンツへスキップ

RakutenAI-3.0公開開始

    RakutenAI-3.0公開開始

    こんにちはmakokonです。
    Rakutenから3/17にRakutenAI-3.0が公開されました。
    671B、MoEアーキテクチャを用いた日本語強化のLLMです。
    ちょっとすぐに遊べないので、紹介のみ簡単に。

    楽天グループが開発した最新の大型言語モデルであるRakutenAI-3.0の詳細を公開しています。

    • このモデルは6710億パラメータを持つ混合専門家(MoE)アーキテクチャを採用しており、日本語と英語の両方に対応しています。特に日本語の言語能力と言語文化の深い理解に重点を置いて設計されており、独自の高品質なデータセットを活用して構築されました。

    • オープンソースのApache 2.0ライセンスで提供されており、ローカル環境での実行方法や技術的な仕様が網羅されています。

    • 利用者はこのモデルを通じて、高度なテキスト生成や対話機能を利用することが可能ですが、不適切な出力を防ぐための注意も呼びかけられています。

    • 全体として、日本の市場と文化に最適化された次世代のAI基盤としての役割が期待されています。

    技術的な仕様およびアーキテクチャ

    1. アーキテクチャ

    • アーキテクチャ形式: Mixture of Experts (MoE) が採用されています。

    • ベースモデル: 出典内のタグ情報には、DeepSeek-V3 や Mistral との関連が示唆されています。

    • (巷の情報では、DeepSeek-V3だと言われています。なぜ明言しないのだろう)

    2. パラメータ数

    • 総パラメータ数: 約6710億 (671B) パラメータです。

    • トークンごとの活性パラメータ数: 推論時に実際に使用されるのは 370億 (37B) パラメータとなっています。

    3. 技術的仕様

    • コンテキスト長: 最大 128K トークンに対応しています。

    • 対応言語: 日本語および英語に最適化されています。

    • テンソル形式: fp8 (F8_E4M3)、BF16、F32、およびSafetensors形式がサポートされています。

    • ライセンス: Apache License, Version 2.0 で公開されています。

    4. 開発・トレーニングの背景

    • 開発元: 楽天グループ株式会社によって開発されました。

    • データ: オープンソースコミュニティの成果を活用しつつ、楽天が独自に保有する高品質な日英バイリンガルのオリジナルデータ、エンジニアリング、および研究成果を組み合わせて構築されています。これらにより、日本の言語と文化に対する優れた理解を実現しています。

    5. 推論環境

    • ローカル環境での実行には SGLang (推奨Dockerイメージ:v0.5.6.post2)を用いたインフェレンスが推奨されています。

    python -m sglang.launch_server \ 
        --model-path Rakuten/RakutenAI-3.0 \ 
        --tp 8 \ 
        --mem-fraction-static 0.85 \ 
        --trust-remote-code \ 
        --show-time-cost
    

    楽天独自の高品質な日英バイリンガルデータ

    独自のバイリンガルデータは、単なる翻訳能力の向上にとどまらず、日本市場や日本語環境に特化した高いパフォーマンスを発揮するための基盤となっています。

    • 日本語と言語文化への深い理解: 楽天が保有する独自のバイリンガルデータと研究成果を組み合わせることで、日本語の言語表現や日本の文化に対する優れた理解力を実現しています。

    • 日本語への最適化: オープンソースコミュニティの知見を活用しつつ、独自のデータを組み込むことで、モデル全体が日本語に最適化された設計となっています。

    • 自然なテキスト生成: これらのデータ活用により、幅広いトピックにおいて人間のような自然なテキストを生成することが可能になっています。

    主要なモデルとの性能比較


    画像


    制限や注意事項

    1. 生成内容に関する制限(Limitations and Bias)

    大規模言語モデル共通の課題として、以下の可能性があることが明記されています。

    • バイアス(偏向): 生成された内容に偏りが含まれる場合があります。

    • 不正確な情報: 事実に基づかない、あるいは誤った情報を出力する可能性があります。

    • 不適切な出力: 安全でない(Unsafe)内容を生成する可能性があります。

    2. 利用時の注意点

    モデルを利用する際には、以下の対応が求められています。

    • 利用者の判断: モデルとの対話や出力の利用に際しては、利用者自身の注意と判断が必要です。

    • 本番環境での対策: 実際のサービスなどの本番環境(Production deployments)に導入する場合は、適切なセーフガード(安全対策)を講じることが推奨されています。

    3. 運用・環境面の制約

    • 計算リソースの要求: 総パラメータ数が 671B(約6710億) と極めて巨大なため、動作には非常に高いスペックのハードウェア環境が必要となります。

    • API提供の不在: 現時点ではサーバーレスAPIを提供するインフェレンス・プロバイダーが存在しないため、利用者が自前で推論環境(SGLangなど)を構築・運用する必要があります。

    4. ライセンス

    • Apache License, Version 2.0: このライセンスの下で公開されており、利用規約に従った使用が求められます。


    あなたへのおすすめ