メインコンテンツへスキップ
見出し画像

AIベンチマークは「何を測っているのか」——スコアの正体を分解してみる

    このコンテンツは生成AIツールを使用して作成しています。詳細な内容に不備や誤情報が含まれる可能性があるので、重要な意思決定の際には別の情報もご参照ください。


    新しいAIモデルが出るたびに、「MMLUで○○%」「SWE-benchで過去最高」といったグラフを目にします。数字が大きいほど、AIが急に賢くなったように見えるかもしれません。

    ただ、その数字だけで「自社の業務で使えるのか」まで判断するのは難しいものです。なぜなら、ベンチマークはAIの総合偏差値ではなく、能力ごとに分かれた検査項目だからです。

    視力と血糖値を足して健康の総合点を出せないように、知識問題、数学、コーディング、画面操作、文章の好みは、それぞれ別の力を測っています。

    この記事では、主要なベンチマークについて次の3点を整理します。

    1. 何を測るものか

    2. どんなテストをするのか

    3. 高得点は実務上、何を意味するのか

    全体像:ベンチマークは6系統に分けて考える

    画像

    大切なのは、横並びのランキングを見ることではありません。自分の用途に近い系統を選び、そのベンチマークが何を採点しているかを理解することです。

    ① 知識・学力系:「物知りか」から「難問を扱えるか」へ

    MMLU / MMLU-Pro

    MMLUは、法律、医学、歴史、数学など57分野の4択問題で、幅広い知識と問題回答能力を測るベンチマークです。

    MMLUは長く標準指標として使われてきました。ただし、フロンティアモデルでは高得点が並びやすく、単独では性能差を見分けにくくなっています。また、公開済みの問題であるため、学習データへの混入や設問品質の問題にも注意が必要です。

    その弱点を補おうとしたのがMMLU-Proです。選択肢を原則10個へ増やし、簡単すぎる問題や曖昧な問題を見直し、より推論を要する問題を加えています。元の57分野を14の大分類に整理した、約1.2万問のベンチマークです。

    高得点が意味すること:幅広い領域の質問に、一定の正確さで答える力です。
    意味しないこと:実務を自律的に完遂する力や、専門家としての責任ある判断です。

    GPQA Diamond

    GPQAは、物理・化学・生物に関する大学院レベルの多肢選択問題です。「検索すれば解ける問題」になりにくいよう設計されており、非専門家がWeb検索を使っても苦戦する難度を持ちます。

    原論文では、該当分野の博士号取得者・博士課程の専門家は65%の正答率であった一方、Webを使った高度な非専門家は34%にとどまりました。

    高得点が意味すること:科学分野の難しい問いに対し、知識と推論を組み合わせて回答する力です。
    注意点:科学研究や専門職の実務全体を再現する試験ではありません。

    Humanity’s Last Exam(HLE)

    HLEは、Center for AI SafetyとScale AIが開発した、高度な学術問題を対象とするベンチマークです。最終版は2,500問で、100を超える専門分野をカバーします。問題の約14%は図表・画像の理解を必要とし、24%は多肢選択、残りは短答形式です。

    公開問題とは別に、過剰適合を確認するための非公開問題も用意されています。HLEは、学術的な難問に対する回答能力を測る、現在もっとも難度の高い評価の一つです。

    2026年9月時点の公式リーダーボードでは、最高スコアは約46.5%です。ただし、このスコアが高いことだけで、AGIや自律的な研究能力を証明するわけではありません。公式もその点を明確にしています。

    高得点が意味すること:高度で閉じた形式の学術問題に対する、知識と推論の強さです。
    意味しないこと:研究テーマの選定、実験、検証、責任判断まで含む研究活動全体の能力です。

    ② 数学・抽象推論系:「初見の問題」をどう扱うか

    MATH / AIME

    MATHは競技数学レベルの問題集で、解答例には段階的な説明が付いています。AIMEは数学コンテストの問題で、最終的に0から999の整数を答えます。

    ここで注意したいのは、標準的な評価は主に最終解答の正誤を採点することです。モデルが途中で正しい論理を使ったか、説明が一貫しているかまでを直接採点するわけではありません。

    高得点が意味すること:数学問題で正答に到達する力です。
    注意点:途中の推論の妥当性や、業務上の複雑な判断の信頼性まで保証するものではありません。

    ARC-AGI-2

    ARC-AGI-2は、色付きグリッドの入出力例から規則を見つけ、新しい入力にその規則を適用するパズルです。外部知識の量よりも、少数の例からルールを抽象化する力を測る設計になっています。

    公開評価セットにおける人間の平均成績は約66%です。

    高得点が意味すること:未知のパターンを見つけ、抽象的な規則として適用する力です。
    注意点:企画力や実務上の創造性を直接測るベンチマークではありません。

    ③ コーディング系:「書ける」と「直せる」は別です

    HumanEval

    HumanEvalは、自然言語の仕様から短い関数を実装し、単体テストで正しさを判定するベンチマークです。

    高得点が意味すること:比較的小さなコード片を生成する力です。
    注意点:大きなコードベースを理解し、設計上の影響を考慮しながら保守する力とは別です。

    SWE-bench Verified

    SWE-benchは、実際のGitHub Issueと、その修正前のリポジトリを使うベンチマークです。モデルはIssue文とコードベースを読み、修正パッチを作成します。合否は、問題解決用テストと回帰テストが通るかで判定されます。

    SWE-bench Verifiedは、専門家が問題文とテストを確認した500件のサブセットです。長く代表的なコーディング評価として使われてきました。

    ただし2026年2月、OpenAIは、公開Issue・修正パッチに由来する学習データ汚染や、テスト設計上の課題を理由に、フロンティアモデルの能力比較にはSWE-bench Verifiedを使わない方針を示しました。

    高得点が意味すること:特定の評価環境で、Issueを読み、パッチを作り、テストを通す力です。
    注意点:実務のソフトウェア開発力をそのまま表す数字ではありません。新しい問題を使う評価や、自社コードベースでの検証も必要です。

    ④ エージェント・実務系:「仕事を終わらせられるか」を測る

    ここ数年で、評価の関心は「正しく答えられるか」から「ツールを使い、複数の手順を経て仕事を完了できるか」へ広がっています。

    Terminal-Bench

    Terminal-Benchは、隔離された環境でコマンドライン作業を行わせるベンチマークです。ソフトウェア開発、機械学習、セキュリティ、データ処理などを含むタスクを、ターミナル上で完了させます。

    高得点が意味すること:評価環境で、コマンド操作を伴う複数手順の作業を進める力です。
    注意点:実際の社内環境で、人の支援なしに安全に運用できることまでは示しません。

    OSWorld

    OSWorldは、仮想マシン上の実際のデスクトップ環境で、スクリーンショットを見ながらマウスやキーボードを操作するベンチマークです。ファイル操作、表計算、設定変更、Webとデスクトップアプリをまたぐ作業など、369のタスクがあります。

    高得点が意味すること:GUIを使う一連のPC操作を、評価環境で実行する力です。
    注意点:実際の業務システムでは、画面変化、権限、例外処理、誤操作の影響を別途検証する必要があります。

    τ-bench

    τ-benchは、カスタマーサポートを想定し、シミュレートされた利用者との複数ターンの会話、ツール呼び出し、ポリシー遵守を扱うベンチマークです。

    主な評価は、会話終了時のデータベース状態が期待される状態と一致するかです。さらに、複数回試行したときの成功率で、信頼性も見ます。

    高得点が意味すること:ルールを守りながら、対話とツール操作を組み合わせる力です。
    注意点:実際の顧客対応では、例外的な事情、感情面の配慮、エスカレーション設計も必要です。

    GAIA

    GAIAは、推論、Web閲覧、ファイル操作、画像理解などを組み合わせる場合がある、汎用アシスタント向けのベンチマークです。

    高得点が意味すること:複数の情報源やツールを使い、答えを導く力です。
    注意点:すべての問題でWeb検索やファイル操作が必要なわけではなく、実務上の成果物品質までを直接測るものではありません。

    GDPval / APEX-Agents

    GDPvalはOpenAIによる評価で、米国GDPへの寄与が大きい9産業・44職種を対象にしています。文書、スライド、図、表計算、マルチメディアなど、実在する成果物をもとにしたタスクを使います。専門家の平均経験年数は14年以上です。

    一方、APEX-Agentsは、投資銀行、経営コンサルティング、企業法務における長時間・複数アプリ横断のタスクを対象にしています。

    高得点が意味すること:専門職の成果物に近いタスクを、指定された環境と評価基準の中でこなす力です。
    注意点:GDPvalは現時点で一回限りの評価が中心で、複数回の修正、長期的な文脈理解、社内調整までは十分に測れていません。

    ⑤ 人間の好み:LMArena

    LMArenaでは、ユーザーが匿名の2モデルに同じ質問を投げ、良いと感じた回答に投票します。こうしたペア比較をもとに、EloやBradley–Terry系の手法で順位を算出します。

    高得点が意味すること:ユーザーが読んで、役立つ・自然だ・感じが良いと判断しやすい回答をする力です。
    注意点:これは事実の正確さや専門的な信頼性そのものを測るランキングではありません。投票者、質問の分布、回答スタイルの影響を受けます。

    ⑥ 日本語ベンチマーク:英語のスコアをそのまま持ち込まない

    英語中心のベンチマークだけでは、日本語での顧客対応、要約、文書作成、社内コミュニケーションの品質を十分に判断できません。

    Nejumi Leaderboard 4は、日本語LLMの汎用言語性能とアラインメントを多面的に見る主要なリーダーボードの一つです。翻訳、要約、推論、コーディングに加え、毒性、バイアス、真実性なども対象にします。

    Swallow LLM Leaderboard v2は、日本語ベンチマークと英語ベンチマークを併記し、日本語性能と英語性能を比較できるようにしています。

    ただし、日本語業務で使うモデルを選ぶ際も、リーダーボードだけで決めるべきではありません。自社固有の敬語、固有名詞、社内ルール、問い合わせ履歴を使った確認が必要です。

    スコアを信じすぎないための4つの視点

    1. 飽和

    多くのモデルが高得点になると、その指標はモデル間の差を示しにくくなります。MMLUやHumanEvalは、評価条件によってはこの問題が起きやすい代表例です。

    2. 汚染

    公開問題や既存の修正パッチが学習データに含まれている場合、モデルが本当に解いたのか、過去に見た情報を再現したのかを区別しにくくなります。

    3. ベンチマークと本番の差

    ベンチマークは、再現可能な環境をつくるために、問題、ツール、採点条件を限定しています。実運用には、曖昧な依頼、例外、変化するデータ、権限管理、失敗時の影響があります。

    そのため、ベンチマークの高得点を、導入効果や投資対効果にそのまま置き換えることはできません。

    4. モデル単体の点数ではない

    特にエージェント系では、モデルだけでなく、プロンプト、ツール、検索、メモリ、実行回数、予算、検証手順といった「足回り」で結果が大きく変わります。

    「モデルAが○%」は、実際には「モデルAを、特定の設定で動かした結果」です。同じモデルでも、実装と運用設計で性能は変わります。

    実務者としての読み方:3ステップ

    ステップ1:用途をベンチマークの言葉に翻訳する

    • 資料や分析のたたき台を作らせたい → GDPvalやAPEX-Agentsを参考にする

    • GUIを含む社内システム操作を任せたい → OSWorldやτ-benchを参考にする

    • コードの修正をさせたい → SWE-bench系やTerminal-Benchを参考にする

    • 難しい専門調査を補助させたい → GPQAやHLEを参考にする

    • 対話の体感品質を重視したい → LMArenaを参考にする

    • 日本語の顧客対応をさせたい → Nejumiなどに加え、自社データで検証する

    ステップ2:一つの数字ではなく、複数の検査項目を見る

    同じ設定、同じツール、同じ予算で比較されていることを確認したうえで、「知識・推論・用途に近い実務」の3系統ほどを並べて見るのが実用的です。

    Artificial AnalysisのIntelligence Indexのように複数評価をまとめた指標は、俯瞰には便利です。ただし、採用する評価セットや重みは更新されます。指数を見るときは、点数だけでなく、その時点で何を含めているかも確認しましょう。

    ステップ3:最後は自社タスクで5〜10件試す

    結局、最も価値があるのは自社の実タスクによる比較です。

    過去の見積書、議事録、顧客メール、Excel作業、コード修正などから、機密情報を適切に処理したうえで5〜10件を選びます。そして候補モデルに同じ条件で実行させ、次を比べます。

    • 成果物の正確さ

    • 修正回数

    • 所要時間

    • コスト

    • 人による確認の負荷

    • 失敗したときの影響

    リーダーボードは候補を絞るための地図です。最終判断は、自社の仕事で行う小さな実験が担います。

    まとめ

    ベンチマークはAIの通信簿ではなく、能力ごとの検査項目です。

    • MMLU / MMLU-Proは、広い知識と問題回答力

    • GPQA / HLEは、高度な学術問題への回答力

    • MATH / AIMEは、数学問題で正答に到達する力

    • ARC-AGI-2は、少数例から規則を抽象化する力

    • SWE-bench / Terminal-Benchは、コードやターミナル作業の力

    • OSWorld / τ-benchは、PC操作やツール利用を含む業務フローの力

    • GDPval / APEX-Agentsは、専門職の成果物に近いタスクへの対応力

    • LMArenaは、人間が好む対話品質

    • Nejumi / Swallowは、日本語での性能を見る手がかり

    見るべきなのは、どのモデルが一番かではありません。自分の仕事に必要な物差しは何か、そしてその物差しが本当に測っているものは何かです。

    参考資料

    #生成AI #AI #LLM #AIエージェント #ベンチマーク #生成AI活用 #AI活用 #業務効率化 #DX #ビジネス #ChatGPT #Claude #Gemini