メインコンテンツへスキップ
見出し画像

【論文瞬読】適材適所の思想:エージェントAIにおける小規模言語モデル(SLM)の可能性

    はじめに

    この記事の背景となる基礎知識は、こちらでまとめています。

    こんにちは!株式会社AI Nestです。

    AIエージェント技術が急速に発展する中、多くの企業がこの技術を活用し始めています。調査によれば、大企業の半数以上がすでにAIエージェントを活用しており、そのうち21%は過去1年以内に導入したとのことです。このAIエージェント市場は2025年には52億ドル規模に達し、2034年までには約2000億ドル規模に成長すると予測されています。

    しかし、現在のAIエージェントの多くは大規模言語モデル(LLM)に依存しており、これが本当に最適なアプローチなのでしょうか?今回取り上げる論文は、小規模言語モデル(SLM)こそがエージェントAIの未来であると主張し、業界に一石を投じています。

    タイトル:Small Language Models are the Future of Agentic AI
    URL:https://arxiv.org/abs/2506.02153
    所属:NVIDIA Research, Georgia Institute of Technology
    著者:Peter Belcak, Greg Heinrich, Shizhe Diao, Yonggan Fu, Xin Dong, Saurav Muralidharan, Yingyan Celine Lin, Pavlo Molchanov

    この論文では、SLMが「十分な能力を持ち」「LLMよりも運用に適しており」「経済的に優れている」という3つの主張を軸に、エージェントAIにおけるSLMの可能性を探っています。大は小を兼ねるという従来の常識に挑戦する、新しい「適材適所」の思想です。

    SLMとLLM:定義と比較

    まず、小規模言語モデル(SLM)と大規模言語モデル(LLM)の定義を確認しておきましょう。

    小規模言語モデル(SLM)は「一般的な消費者電子機器に搭載でき、一人のユーザーのエージェントリクエストを実用的な低レイテンシーで処理できる言語モデル」と定義されています。2025年時点では、パラメータ数が10B(100億)未満のモデルが一般的にSLMとみなされています。

    大規模言語モデル(LLM)はSLM以外の言語モデル、つまり一般的な消費者デバイスでは効率的に実行できないサイズのモデルを指します。

    これらの定義は技術の進歩に伴って変化する可能性がありますが、重要なのは「実用的な環境で使えるか」という観点です。消費者デバイスの処理能力が向上すれば、「小規模」の定義も変わっていくでしょう。

    エージェントAIシステムにおけるこれらのモデルの役割は大きく異なります。従来のアプローチでは、単一の汎用LLMがすべてのタスクを処理していましたが、論文が提案するのは、タスクの性質に応じて複数のSLMを使い分ける方法です。

    画像
    図1. エージェントシステムの異なるエージェンシーモード

    図1は、AIエージェントの2つの主要なアーキテクチャを示しています。左側は「Language model agency」で、言語モデルがHCI(人間とコンピュータの対話)とツール呼び出しの両方を担当します。右側は「Code agency」で、言語モデルはHCIを担当し、専用のコントローラーコードがツールの調整を行います。

    どちらのアーキテクチャでも、SLMを導入する余地があります。左側のモデルでは、根幹となるLLMに加えて、下位の言語モデルとしてSLMを使用できます。右側のモデルでは、会話機能用と特定のタスク実行用に、それぞれ専用のSLMを使用できるのです。

    SLMの実力:小さくても十分な能力

    「小規模だから能力も低い」というのは誤解です。実際、最新のSLMは驚くべき能力を持っています。論文では、以下のような最新SLMの例が挙げられています:

    • Microsoft Phi シリーズ: Phi-2(2.7B)は常識的推論やコード生成において30Bモデルと同等のスコアを達成し、約15倍高速に動作

    • NVIDIA Nemotron-H ファミリー: 2/4.8/9Bのハイブリッドモデルが、同世代の30B LLMと同等の指示追従能力とコード生成精度を実現

    • Huggingface SmolLM2 シリーズ: 125M〜1.7Bのモデルが、言語理解、ツール呼び出し、指示追従で同時代の14Bモデルと同等の性能を発揮

    これらのSLMは単体でも優れた性能を示しますが、さらに自己一貫性、検証フィードバック、ツール拡張などの推論時強化技術を使用することで、さらに能力を高めることができます。例えば、Toolformer(6.7B)はAPI使用によってGPT-3(175B)を上回る性能を示し、1-3Bモデルは構造化推論によって数学問題で30B以上のLLMと競合しています。

    つまり、エージェントAIシステムに必要な能力を提供するのに、必ずしも巨大なモデルである必要はないのです。

    SLMの経済性:コスト効率の優位性

    SLMの最大の利点の一つは、その経済性です。論文によれば、7Bサイズのモデルを使用すると、70-175Bのモデルに比べて、レイテンシー、エネルギー消費、計算量(FLOPs)の面で10〜30倍のコスト削減が可能です。

    具体的な経済的利点には以下のものがあります:

    1. 推論効率: SLMはレイテンシーが低く、エネルギー消費が少なく、計算量が少ないため、リアルタイムのエージェント応答をスケールさせやすい

    2. 微調整の俊敏性: LoRAやDoRAなどのパラメータ効率の良い微調整手法により、数GPU時間で行動を追加、修正、特化させることが可能

    3. エッジデプロイメント: ChatRTXなどのオンデバイス推論システムにより、消費者向けGPUでもSLMをローカルで実行可能

    4. パラメータ利用効率: SLMはLLMよりもパラメータの利用効率が高い可能性がある

    特に注目すべきは「モジュラーシステム設計」の利点です。複数の小型モデルを組み合わせることで、タスクの異種性に対応しつつ、全体としての効率を高めることができます。「スケールアップ(より大きなモノリシックモデル)」ではなく「スケールアウト(小さな専門家モデルの追加)」というアプローチが、より安価で、デバッグしやすく、デプロイが容易なシステムを実現します。

    SLMの柔軟性:実用的な利点

    SLMのサイズの小ささは、柔軟性という大きな利点をもたらします。事前学習と微調整のコストが低いため、異なるエージェントルーティンのために複数の専門モデルを訓練、適応、デプロイすることが現実的になります。

    これにより、変化するユーザーニーズ、新しい行動のサポート、出力フォーマットの要件変更、地域ごとの規制への対応など、さまざまな状況に迅速に対応できるようになります。

    特に重要な点として、SLMの柔軟性はAIの民主化にも貢献します。より多くの個人や組織が言語モデルの開発に参加できるようになれば、エージェントの総人口はより多様な視点や社会的ニーズを代表するようになります。この多様性は、システム的バイアスのリスクを減らし、競争とイノベーションを促進するのに役立ちます。

    また、エージェントシステムの設計上、SLMを導入するのは自然なステップです。エージェントは本質的に、言語モデルの能力の限られたサブセットへのインターフェースであり、慎重に作成されたプロンプトと文脈管理によって、大規模な汎用モデルがごく一部のスキルのみを使用するよう制限されています。このような状況では、選択されたプロンプトに合わせて適切に微調整されたSLMで十分であり、効率性や柔軟性の利点も得られます。

    課題と反論:LLM支持者の見解と対応策

    SLMへの移行には、いくつかの反論や障壁が存在します。論文では主要な反論とその対応について議論しています。

    言語理解力に関する懸念

    LLM支持者の主張:「同世代のSLMはLLMより一般的な言語理解能力が劣るため、どんなに狭いタスクでもLLMの方が常に優れた性能を示す」

    この主張に対して、論文は以下のように反論しています:

    1. スケーリング法則の研究は通常、モデルアーキテクチャが同一であることを前提としていますが、最新のSLM研究では異なるサイズのモデルに対して異なるアーキテクチャを使用することの利点が示されています

    2. SLMは特定のタスクに微調整しやすく、目的のタスクに対して所望の信頼性レベルに到達させることが可能です

    3. 推論時の計算スケーリングが経済的であり、小型モデルでもデバイス間の俊敏性を維持しつつ、推論時に必要な信頼性レベルにスケールできます

    4. 高度なエージェントシステムは複雑な問題を分解するように設計または促されており、小型言語モデルはこのように分解された単純なサブタスクに対して十分に機能します

    中央集権型推論の経済的利点

    LLM支持者の主張:「専門的なSLMの小ささによるトークンあたりの推論コスト削減は、規模の経済によって打ち消される」

    この主張については、論文は判断を保留しつつも、以下の要因がSLMの優位性を示唆していると述べています:

    1. 最近の推論スケジューリングと大規模推論システムのモジュール化の改善により、モノリシックなコンピューティングクラスタでも前例のない柔軟性が実現されています

    2. 推論インフラのセットアップコストに関する最新の分析では、技術的な理由により一貫した下降傾向が示されています

    導入の障壁

    現在のSLM採用の主な障壁として、論文は以下の点を挙げています:

    1. 中央集権型LLM推論インフラへの大規模な先行投資

    2. SLMの訓練、設計、評価における汎用ベンチマークの使用

    3. 一般的な認知度の不足

    これらの障壁は実用的な障害であり、SLM技術の根本的な欠陥ではないと論文は主張しています。Dynamoなどの高度な推論スケジューリングシステムにより、導入障壁は単なる慣性の影響に縮小されつつあります。

    実践への道:LLMからSLMへの移行

    論文は、エージェントアプリケーションをLLMからSLMに移行するための具体的なアルゴリズムも提案しています。

    このアルゴリズムは以下の6つのステップで構成されています:

    1. 使用データ収集の確保: 非HCIエージェント呼び出しをログに記録するための計装を配備

    2. データの整理とフィルタリング: データ収集と、PII、PHI、その他のセンシティブデータの削除

    3. タスクのクラスタリング: 収集したプロンプトとエージェントアクションに対して教師なしクラスタリング技術を適用し、繰り返しパターンを特定

    4. SLMの選択: 特定された各タスクに対して1つ以上の候補SLMを選択

    5. 専門SLMの微調整: 選択されたタスクと対応するSLM候補ごとに、タスク固有のデータセットを準備し、選択したSLMを微調整

    6. 反復と改良: 新しいデータでSLMとルーターモデルを定期的に再トレーニングし、パフォーマンスを維持しつつ進化する使用パターンに適応

    論文の付録Bでは、実際のオープンソースエージェントにおけるLLMからSLMへの置き換え可能性について、ケーススタディも提供されています。

    例えば、MetaGPTでは約60%、Open Operatorでは約40%、Cradleでは約70%のLLMクエリがSLMで処理可能と推定されています。これらの数字は、エージェントシステムの性質と機能によって異なりますが、かなりの割合でSLMへの移行が可能であることを示唆しています。

    まとめ:SLMがエージェントAIの未来を形作る理由

    この論文は、SLMがエージェントAIの未来である理由として、以下の3つの主要な主張を行っています:

    1. 十分な能力: 最新のSLMは、常識的推論、ツール呼び出し、コード生成、指示への従順さなど、エージェントAIに必要な能力を十分に備えています。モデルサイズではなく能力が制約要因であり、SLMは今やエージェント呼び出しの大部分に十分な推論能力を提供しています。

    2. 運用上の適合性: SLMはエージェントシステムの設計に自然に適合し、特にモジュラー設計アプローチと相性が良いです。エージェントアプリケーションはLMの限られた機能のサブセットだけを利用することが多く、この状況ではSLMが理想的です。

    3. 経済性: SLMはレイテンシー、エネルギー消費、計算量の面でLLMよりも効率的です。これにより、リアルタイムのエージェント応答をスケールさせることが容易になり、微調整も迅速に行えます。

    AIエージェント産業が変革的な影響を示しつつある今、費用削減やAIインフラの持続可能性の向上は、この変革の触媒として機能するでしょう。論文の著者たちは、この立場に対する貢献と批評の両方を求め、そのようなやり取りをすべて公開することを約束しています。

    エージェントAIの未来は、単一の巨大モデルではなく、適材適所で活躍する複数の小型専門モデルの協調にあるのかもしれません。技術の進歩、経済性、そして実用性を考えれば、SLM中心のアプローチがエージェントAIの次のフロンティアになることは十分に考えられるのです。


    P.S. 論文スクリーニングアプリをリリースしました!

    2025年5月27日に論文スクリーニングアプリのアルファ版をリリースしました!これからどんどん機能追加をしていきます。よければ、プレスリリースも見ていただけると嬉しいです。(Android版もリリースしております。)


    読んだ論文をあとで見返しやすく整理したい人や、チームで共有したい人には、論文管理サービス「スカコン」もおすすめです。研究論文を書く人向けの整理・蓄積にもかなり相性がいいです。

    あなたへのおすすめ