メインコンテンツへスキップ
見出し画像

AI の評価が新しい計算ボトルネックになっている

    こんにちは、MLエンジニアの戸田(@Trtd6Trtd)です
    先日の AI Shift Academy で「AIは言語によって考え方が変わるのか?」というテーマを取り上げました。

    本記事はその内容をベースに、論文やデータへの参照を加えて再構成したものです。


    画像


    これまで AI 開発のコスト構造は学習は高い、評価は安いといったものでした。GPT-4 級の学習に数千万〜数億ドルかかる一方、ベンチマーク評価のコストは誤差の範囲で語られていました。
    ところが、エージェント時代に入って状況が変わっています。
    https://huggingface.co/blog/evaleval/eval-costs-bottleneck
    こちらのサマリーをそのまま引用すると

    • HAL(Holistic Agent Leaderboard): 約$40,000

    • GAIA : 約$2,829

    • PaperBench : 約$9,500

    と、最近のベンチマーク評価では非常にコストがかかるようになっています
    これは個別の開発現場だけの話ではなく、業界全体に効いてくる構造変化なので、整理しておきたいと思います。

    静的ベンチマークでは「圧縮」が効いていた

    評価コストの問題自体は 2022 年頃から議論されていました。Stanford CRFM が HELM を発表したとき、論文に載っている内訳だけで API コストは $85〜$10,926、オープンモデル側は 540〜4,200 GPU 時間と書かれています。30 モデル × 42 シナリオの集計で約 $100,000 に達していたとされます。
    しかし当時はまだベンチマークの圧縮という救いがありました。例えばMMLU の 14,000 問は 100 問のアンカーに圧縮しても約 2% の誤差で代用できると言われています。
    要するに「静的な 1 問 1 答型のタスク」では、モデル間の差が一部の問題に集中するので、サンプリングで十分にランキングが再現できたわけです。

    エージェント評価では圧縮がほとんど効かない

    この前提が、エージェントベンチマークでは崩れます。
    エージェントは「複数ターンのロールアウトを通じてタスクを解く」ものなので、評価の単位がそもそも違います。そして圧縮効率は、 2〜3.5× が限界と言われています。静的ベンチでは 100〜200×の恩恵が受けられていたといわれているので、桁が違います。
    元記事のフレーズを借りるなら、「ベンチマークが実世界に近づくほど圧縮が効かなくなる」ということです。これは構造的な問題だと思います。実世界のタスクは元々ノイズが多く、再現性が低く、ステップ間で相互作用があります。それを真面目に評価しようとすれば、評価そのものがノイジーにならざるを得ません。

    信頼性のための「pass^k」がコストを倍々で押し上げる

    ここまでは「1 回の評価」のコストでした。エージェントを実プロダクトで使う側からすれば、1 回成功する確率 ではなく 何回やっても安定して成功する確率 が重要です。
    τ-bench で導入された pass^k 指標は、「k 回連続で成功する確率」を測ります。pass@k(少なくとも 1 回成功)と紛らわしいですが意味は逆で、

    • pass@k:「k 回試したらどこかで成功する」確率 → 楽観的な指標

    • pass^k:「k 回全部で成功する」確率 → 信頼性の指標

    τ-bench の元論文と CLEAR (Mehta, 2025) の再分析によると、

    pass@1 = 60% のエージェントが、pass^8 では 25% まで落ち込む

    カスタマーサポートで 10 回に 1 回しか正しく返答できないエージェントが使い物にならないのと同じで、業務で使う AI エージェントには pass^k 的な視点が必須です。
    ただし、pass^k を測るには 同じタスクを k 回回す必要があるので、コストもそのまま k 倍になります。元記事の試算では、

    • HAL スイープ $40,000 → k=8 で $320,000

    • PaperBench $9,500 → k=8 で $75,000 超

    実際 HAL は「ノイズを下げるコストが重すぎる」として、信頼性検証に集中するために新規モデル評価を一時停止しているそうです。

    評価コストが「説明責任の壁」になっている

    ここからが、私がこの記事で一番重要だと感じた部分です。
    評価コストが上がっただけなら「予算の問題」で済みます。問題はそのコストが、誰が評価できるのかを決めてしまうことです。例えば大学院生の年間出張予算ではGAIA は 1 回しか回せません。PaperBench を 3 シード × 6 モデル比較すれば $150,000 を超え、論文 1 本分の研究費に近いです。以前は学習リソースに偏りがある、ということが問題視されていましたが、いまや評価リソースにも同じような格差が広がりつつあります。
    元記事の中で一番刺さったフレーズはこれです。

    Whoever can pay for the evaluation gets to write the leaderboard.

    「このモデルは安全」「このエージェントは正確」という主張を、それを作っていない第三者が検証する仕組みが、経済的に成立しにくくなってきているんですね。これは AI 業界の透明性と民主性に直接効いてくる構造的な問題だと思います。
    加えて、コストを表示しないリーダーボードは 推論努力を増やすほどスコアが上がるように振る舞うので、合理的なプレイヤーほどトークンを注ぎ込んで数字を上げる方向に動きます。HAL の論文は「reasoning effort を増やすと過半数のランで精度が下がる」と報告しており、これは資源浪費を構造的に推奨するインセンティブ設計の問題でもあります。

    解決の方向性:同じ評価に二度払うのをやめる

    EvalEval Coalition が提案しているのはシンプルな話で、**「同じ評価ログを業界全体で再利用しよう」**というものです
    実は現在、多くの組織が同じモデル、同じベンチマークを重複して検証していると言われています。そして出力されるのは数値だけで、トラジェクトリやプロンプト、シードなどの instance-level の情報は共有されないんですね。結果として、再利用できる資産がほとんど残らない。
    Every Eval Ever は、

    • 共通のメタデータスキーマ

    • バリデータと変換ツール(HELM, lm-evaluation-harness, Inspect AI など主要ハーネス対応)

    • Hugging Face 上の 共有データストア

    を提供して、評価ログを 1 ステップで共通形式に変換できるようにしようとしています。
    単純そうに見えてこれは効果が想像以上に大きいです。元記事では、「2× の再利用率」を実現するだけで、すべての圧縮テクニックを足し合わせたよりも多くのコストを業界に戻せると主張しています。

    おわりに

    ここからは個人の感想です。
    エージェントを実プロダクトで運用していると、「ベンチマーク上は良くても、実環境で動かしたらツール呼び出しでコケる」「同じデータで動かしても出力が揺れる」みたいなことが日常的に起こります。pass^k 的な評価をしないと、本番投入の意思決定が取れないのはとてもわかります。
    一方で、pass^k 的な評価を社内で真面目にやろうとすると、すぐに API 課金の現実にぶつかります。週次でモデル更新やプロンプト変更を出していると、評価予算が無視できない比率を占めるようになっていく。HAL の $40,000 や PaperBench の $9,500 は遠い世界の話ではなく、プロダクション側でも同じスケーリング則が効いてくる話だと感じています。
    このときに効くのは、評価ログの再利用基盤で、社内で「同じプロンプト × 同じモデル」の評価ログを使い回せるだけでも、相当のコスト圧縮になるのではないでしょうか。プロダクトの資産なのでEvery Eval Ever のような外向きに共有することは難しいかもしれませんが、内向きのログ資産化は整備していく価値があると思っています。
    EvalEval Coalition の元記事はかなり力の入った調査記事なので、興味を持った方はぜひ原文に当たってみてください。

    参考


    本記事は AI Shift Academyの内容をベースに加筆・再構成したものです。
    https://www.youtube.com/@aishiftacademy
    https://open.spotify.com/search/AI Shift Academy
    https://podcasts.apple.com/jp/podcast/ai-shift-academy/id1831264848
    https://music.amazon.co.jp/search/AI+Shift+Academy
    感想やコメントはハッシュタグ「#シフアカ」でお待ちしています。

     
     
    株式会社AI Shift(サイバーエージェントグループ)の公式noteです!

    あなたへのおすすめ