メインコンテンツへスキップ
見出し画像

Meta、Llama 4をオープンソース公開:初のMoE(専門家混合モデル)採用、数千万トークンのコンテキスト長、DeepSeekをベンチマークで上回る

    ポイント

    • Metaが最新のAIモデル「Llama 4」シリーズをオープンソースで公開、初のMoE(専門家混合)アーキテクチャを採用

    • Llama 4は3つのモデル(Scout、Maverick、Behemoth)から構成され、全モデルがマルチモーダル対応

    • Llama 4 Scoutは業界最大級の1000万トークンのコンテキスト長を持ち、1枚のGPUで動作可能

    • Llama 4 Maverickは170億アクティブパラメータでGPT-4oやDeepSeek v3に匹敵する性能を達成

    • Llama 4 Behemothは2兆パラメータを持つ教師モデルで、STEM分野でGPT-4.5などを上回る

    • 全モデルが画像・テキストの統合理解に対応し、最大48枚の画像を処理可能

    • MoE導入により推論効率とコストパフォーマンスを大幅に改善、必要なパラメータのみを活性化

    • 学習には30兆トークン以上の多様なデータを使用、FP8精度と32,000 GPUで高効率トレーニングを実現

    • 後学習ではSFT・RL・DPOを組み合わせた新手法を採用、特に難易度の高いデータに重点を置く

    • ScoutとMaverickはllama.comおよびHugging Faceでダウンロード可能

    本文

    Metaが週末に最新AIモデルシリーズ「Llama 4」を発表したことは驚きである。これはLlamaファミリーの最新モデルである。

    画像

    このシリーズには、Llama 4 Scout、Llama 4 Maverick、Llama 4 Behemothが含まれる。これらのモデルは全て、大量のラベルなしテキスト、画像、動画データを用いて学習されており、広範な視覚理解能力を持つ。

    Meta GenAI責任者のアーマド・アルダーレ氏は、「Llama 4は、MetaのオープンソースAIと、オープンソースAIコミュニティ全体への長期的なコミットメントを示すものです。オープンなシステムが、最高峰のスモールモデル、ミディアムモデル、そして最先端の大型モデルを生み出すという確固たる信念を示すものである」と述べている。

    画像

    Google CEOのピチャイ氏は、「AIの世界は本当に面白い。Llama 4チーム、おめでとう。これからも頑張って!」と感嘆の言葉を述べた。

    画像

    大規模言語モデルの評価プラットフォームArenaにおいて、Llama 4 Maverickは総合ランキングで2位となり、1400点を超える4番目の大規模モデルとなった。オープンモデルとしては1位でDeepSeekを上回り、難易度の高いプロンプト、プログラミング、数学、クリエイティブライティングなどのタスクで首位を獲得している。Meta社のLlama 3 405Bも大幅に上回り、スコアは1268から1417に向上、スタイル制御においては5位となっている。

    画像
    画像

    では、Llama 4モデルシリーズにはどのような特徴があるのだろうか?具体的には以下の通りである。 Llama 4 Scoutは、170億のアクティブパラメータと16人の専門家を持つモデルであり、同種の中で世界最高峰のマルチモーダルモデルである。以前の世代のLlamaモデルよりも強力で、単一のNVIDIA H100 GPUに適合する。さらに、Llama 4 Scoutは業界をリードする1000万のコンテキストウィンドウを提供し、広く知られているベンチマークテストにおいて、Gemma 3、Gemini 2.0 Flash-Lite、Mistral 3.1を凌駕する性能を示す。

    Llama 4 Maverickは、128人の専門家と170億のアクティブパラメータを持つモデルであり、同種の中で最高峰のマルチモーダルモデルである。広く知られているベンチマークテストでGPT-4oとGemini 2.0 Flashを打ち破り、推論とプログラミングにおいては、最新のDeepSeek v3と同等の成果を上げた。アクティブパラメータは半分以下にもかかわらずである。Llama 4 Maverickはクラス最高のコストパフォーマンスを提供し、実験的なチャットバージョンはLMArenaでELOスコア1417を獲得している。

    上記の2つのモデルは、Metaがこれまでに開発した中で最高のモデルであり、主に2880億のアクティブパラメータと16人の専門家を有するLlama 4 Behemothモデルから知識蒸留されたものである。

    Llama 4 Behemothは、Metaの現時点で最も強力なモデルの一つであり、世界で最も知的な大規模言語モデルの一つでもある。科学、技術、工学、数学(STEM)分野における複数のベンチマークテストで、Llama 4 BehemothはGPT-4.5、Claude 3.7 Sonnet、Gemini 2.0 Proを上回る性能を示している。 しかし、「Llama 4 Behemoth」はまだトレーニング中であり、今後Metaはより多くの情報を公開する予定である。

    朗報として、ユーザーは現在、llama.comとHugging Faceにて「Llama 4 Scout」と「Llama 4 Maverick」の最新モデルをダウンロード可能である。

    画像

    すべての「Llama 4」モデルは、ネイティブなマルチモーダル設計を採用している。例えば、画像をアップロードすることで、その画像に関するあらゆる質問が可能となる。

    https://mmbiz.qpic.cn/sz_mmbiz_gif/KmXPKA19gWiciaTmTso3bEKnrl9RXg2LfibOk3ybOum39wkjKTyRtmP5CzkuEdfLIA7kBz5gnpTtSXkBxqLKADia5g/640?wx_fmt=gif&from=appmsg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

    「Llama 4 Scout」は、最大1000万トークンのコンテキストをサポートする。これは業界最長のコンテキスト長であり、記憶、パーソナライズ、マルチモーダルアプリケーションに関する新たなユースケースを切り開くものである。

    https://mmbiz.qpic.cn/sz_mmbiz_gif/KmXPKA19gWiciaTmTso3bEKnrl9RXg2LfibrwtY468KFuFGazaicIGOoKPdsNwZMS8iaGZLIqPgv9sqhJrG0nickEWyw/640?wx_fmt=gif&from=appmsg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

    また、「Llama 4」は画像のグラウンディングにおいても優れており、ユーザーのプロンプトを関連する視覚的概念と整合させ、モデルの応答を画像内の領域に固定することが可能である。

    https://mmbiz.qpic.cn/sz_mmbiz_gif/KmXPKA19gWiciaTmTso3bEKnrl9RXg2LfibolghKdMQ2iayw8m5oQjJS9K90o7nvYj7E6vAS2JKTkWeEAlvuzj046A/640?wx_fmt=gif&from=appmsg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

    さらに、「Llama 4」は12言語のテキストを理解できるよう事前学習と微調整が施されており、グローバルな開発と展開を支援する。

    https://mmbiz.qpic.cn/sz_mmbiz_gif/KmXPKA19gWiciaTmTso3bEKnrl9RXg2Lfib8gS1rvcSZTXAbKmWRH5La8M3XxoGLfMaCrxddfQGSd45tdLo9jfGRg/640?wx_fmt=gif&from=appmsg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

    事前学習

    Metaが次世代の「Llama」モデルを構築するにあたり、事前学習段階でいくつかの新しい方法を試した。

    まず、Metaが初めて混合エキスパート(Mixture of Experts, MoE)アーキテクチャを採用したことが挙げられる。MoEモデルでは、単一のトークンは総パラメータの一部のみをアクティブにする。Metaは、MoEアーキテクチャはトレーニングと推論において計算効率が高く、固定されたトレーニングFLOPs予算下で、高密度モデルと比較してより高い品質を提供すると述べている。

    画像

    「Llama 4 Maverick」モデルを例に挙げると、このモデルは170億のアクティブパラメータと4000億の総パラメータを有する。Metaは、推論効率を向上させるために、交互の密な層と混合エキスパート(MoE)層を採用している。MoE層では、128個のルーティングエキスパートと1つの共有エキスパートが使用されている。各トークンは、共有エキスパートと128個のルーティングエキスパートのいずれかに送信される。 そのため、すべてのパラメータはメモリに格納されているが、これらのモデルを運用する際、活性化されるのはパラメータの総数の一部のみである。これにより、モデルのサービスコストと遅延を削減することで、推論効率が向上する。Llama 4 Maverickは、単一のNVIDIA H100 DGXホスト上で動作可能であり、デプロイが容易であり、分散推論によって最高の効率を実現することも可能である。

    Llama 4 ファミリーのモデルは、ネイティブなマルチモーダル設計を採用し、初期融合によってテキストと視覚トークンを統一されたモデルバックボーンにシームレスに統合する。初期融合は大きな進歩である。なぜなら、これにより、大量のラベル付けされていないテキスト、画像、およびビデオデータを使用してモデルを共同事前学習することが可能になるからである。さらに、MetaはLlama 4の視覚エンコーダも改良した。このエンコーダはMetaCLIPに基づいており、エンコーダのLLMへの適応性を高めるためである。

    また、MetaはMetaPと呼ばれる新しい学習技術も開発した。MetaPは、層ごとの学習率や初期化スケールなどのモデルハイパーパラメータを確実に設定することができる。Metaは、選択されたハイパーパラメータが、異なるバッチサイズ、モデル幅、モデル深度、および学習トークン数の間で優れた転移性を持つことを見出した。

    Llama 4は、200の言語での事前学習を通じて、オープンソースの微調整作業をサポートしており、その中には100以上の言語が含まれており、各言語で10億トークンを超え、全体としてLlama 3よりも10倍以上の多言語トークンを包含する。

    さらに、MetaはFP8精度を使用して学習を行い、品質と高いFLOPs利用率を両立させている。FP8と32,000 GPUを使用してLlama 4 Behemothモデルを事前学習する際、MetaはGPUあたり390 TFLOPsを達成した。学習に使用されたデータ混合総量は30兆トークンを超え、Llama 3の事前学習データ混合量の2倍以上であり、多様なテキスト、画像、およびビデオデータセットをカバーしている。

    最後に、Metaはまた、いわゆる中期学習(ミッドトレーニング)を通じてモデルの学習を継続し、専用のデータセットを利用して長コンテキストを拡張するなど、モデルのコア能力を向上させた。これにより、Metaはモデル品質を向上させると同時に、Llama 4 Scoutのために業界をリードする1000万トークンコンテキスト長を達成した。

    事後学習

    Llama 4 Maverickは、画像とテキストの理解において、比類なき業界トップの性能を提供し、言語の壁を越える複雑なAIアプリケーションを構築することを可能にする。汎用アシスタントおよびチャットユースケース向けの製品主力モデルとして、Llama 4 Maverickは、正確な画像理解とクリエイティブライティングにおいて優れた性能を発揮する。

    Llama 4 Maverickモデルの事後学習において、最大の課題は、複数の入力モダリティ、推論能力、そして対話能力のバランスを取ることである。混合モダリティのため、Metaは、単一モダリティの専門家モデルと比較して性能を低下させない、綿密に練られたカリキュラム戦略を設計した。

    Llama 4において、Metaは、異なるアプローチを採用することで、事後学習プロセスを全面的に改善した。それは、軽量な教師あり微調整(SFT)、オンライン強化学習(RL)、そして軽量な直接選好最適化(DPO)である。Metaは、SFTとDPOがモデルを過度に制約し、オンラインRL段階での探索能力を制限する可能性があり、その結果、推論、プログラミング、および数学の分野で精度が低下する可能性があることを見出した。 この問題に対処するため、MetaはLlamaモデルを評価器として用い、容易と分類されたデータの50%超を削除し、残りのより困難なデータセットを用いて軽量な教師あり微調整(SFT)を行った。続くマルチモーダルオンライン強化学習(RL)段階では、慎重に選択されたより困難なプロンプトによって、性能の大幅な向上を達成した。

    さらに、Metaは継続的なオンラインRL戦略も実施し、モデルを交互に訓練し、それを用いて中程度から高難易度のプロンプトを持続的にフィルタリングして保持した。この戦略は、計算量と精度のトレードオフにおいて非常に有益である。

    最後に、Metaはモデル応答の品質に関連するエッジケースに対処するため、軽量な直接選好最適化(DPO)も実施し、モデルの知性と対話能力の良好なバランスを効果的に実現した。これらの改善は、業界をリードする汎用チャットモデルを促進し、最先端の知性と画像理解能力を備えている。

    性能

    Llama 4 Maverickは、170億のアクティブパラメータ、128の専門家、および4000億の総パラメータを含み、Llama 3 70Bと比較して、より低い価格でより高い品質を提供する。下の表が示すように、Llama 4 Maverickは同クラスで最高のマルチモーダルモデルであり、コーディング、推論、多言語、長文脈、および画像ベンチマークテストにおいて、その性能は、GPT-4oやGemini 2.0などの類似モデルを上回り、コーディングと推論の面では、より大規模なDeepSeek v3.1と競合する。

    画像

    より小型のモデルであるLlama 4 Scoutは、汎用モデルであり、170億のアクティブパラメータ、16の専門家、および1090億の総パラメータを備え、同カテゴリにおいて最先端の性能を提供できる。Llama 4 Scoutは、サポートされるコンテキスト長をLlama 3の128Kから業界をリードする1000万トークンへと大幅に向上させた。これにより、マルチドキュメントの要約、パーソナライズされたタスク実現のための広範なユーザーアクティビティ分析、大規模なコードベースの推論といったアプリケーションに、より多くの可能性を提供する。

    Llama 4 Scoutは、事前学習と事後学習の両方で256Kのコンテキスト長を使用しており、基盤モデルに強力な長文脈汎化能力を持たせている。針探し検索のようなタスクにおいて、このモデルは説得力のある結果を示している。

    Llama 4アーキテクチャにおける重要な革新の一つは、位置埋め込みなしのインターリーブド注意層(interleaved attention layers)の使用であり、推論時の温度スケーリングを通じて長文脈汎化能力を強化する。このアーキテクチャはiRoPEアーキテクチャと呼ばれ、iはインターリーブド(interleaved)注意層を表し、無限のコンテキスト長をサポートするという長期目標を強調している。RoPEは、ほとんどの層で使用される回転位置埋め込みを指す。

    画像
    画像

    Metaは2つのモデルに対し、広範な画像とビデオフレームの静止画像を用いた学習を実施し、それらに、時系列アクティビティや関連画像に関する理解を含む広範な視覚理解能力を付与した。これにより、モデルは、複数画像の入力とテキストプロンプトの下で、視覚的な推論と理解タスクを容易に行うことができる。これらのモデルは、事前学習時に最大48枚の画像をサポートし、事後学習では8枚の画像をサポートでき、良好な結果が得られている。 Llama 4 Scout は画像位置特定において優れた性能を発揮する。ユーザーのプロンプトを関連する視覚的概念と整合させることが可能であり、モデルの応答を画像内の特定の領域に紐づけることができる。これにより、大規模言語モデルは、より正確に視覚的な質問応答を行うことが可能になり、ユーザーの意図をより良く理解し、関心のあるオブジェクトを特定することができる。

    さらに、Llama 4 Scout は、コーディング、推論、長文脈、および画像ベンチマークにおいて、類似のモデルを凌駕している。そして、これまでのすべてのLlamaモデルよりも優れた性能を発揮する。

    画像

    Llamaを新たなスケールへ:2T Behemoth

    Llama 4 Behemoth プレビュー版は、教師モデルであり、また、マルチモーダル混合エキスパートモデルでもある。2880億のアクティブパラメータ、16の専門家、そして約2兆の総パラメータを備えている。

    数学、多言語、および画像ベンチマークにおいて、推論モデルではないモデルの中で最先端の性能を提供し、より小さなLlama 4 モデルを教えるための最適な選択肢である。

    画像

    2兆パラメータを持つモデルのポストトレーニングは、大きな挑戦である。これは、研究者に対し、データ規模から始め、トレーニングスキームを徹底的に再設計および改善することを要求する。性能を最大化するために、Metaは教師あり微調整(SFT)データに対して95%の剪定を行わざるを得なかったが、より小さなモデルの剪定率は50%であった。この取り組みは、品質と効率の必要なバランスを取るためのものである。Metaはまた、最初に軽量の教師あり微調整(SFT)を行い、次いで大規模な強化学習(RL)を行うことで、モデルの推論およびコーディング能力を大幅に向上させることができることを発見した。

    Metaの強化学習(RL)スキームは、ポリシーモデルを介した pass@k 分析に焦点を当て、難易度の高いプロンプトをサンプリングし、徐々に難易度を上げるトレーニングカリキュラムを構築する。さらに、トレーニング中にゼロアドバンテージのプロンプトを動的にフィルタリングし、さまざまな能力を含む混合プロンプトトレーニングバッチを構築することで、これらの対策は、数学、推論、およびコーディングの分野でモデルに著しい性能向上をもたらした。最後に、多様なシステム命令からサンプリングすることは、モデルが推論およびコーディングタスクで命令に従う能力を維持するために不可欠であり、これにより、モデルはさまざまなタスクで優れたパフォーマンスを発揮できる。

    2兆パラメータのモデルに強化学習(RL)を拡張することも、大きな挑戦である。これは、Metaに前例のない規模に対応するために、基盤となる強化学習インフラストラクチャを再設計および改善することを余儀なくさせた。

    Metaは、速度を向上させ、反復プロセスを加速するために、混合エキスパート(MoE)並列化の設計を最適化した。さらに、柔軟性を高めるために、完全に非同期のオンライン強化学習トレーニングフレームワークを開発した。既存の分散トレーニングフレームワークと比較して、後者はすべてのモデルをメモリにロードするために計算メモリを犠牲にするが、Metaの新しいインフラストラクチャは、異なるモデルを異なるGPUに柔軟に割り当て、計算速度に基づいて複数のモデル間でリソースをバランスさせることができる。この革新により、トレーニング効率は前世代と比較して約10倍向上した。 Llama4ScoutとLlama4Maverickは現在ダウンロード可能である。

    アドレス:https://www.llama.com/llama-downloads/
    HuggingFaceアドレス:https://huggingface.co/meta-llama
    参考リンク:https://ai.meta.com/blog/llama-4-multimodal-intelligence/

    元記事


    あなたへのおすすめ