メインコンテンツへスキップ
見出し画像

「AIのベンチマーク」とは?スコアは何の点数?どこまで上がれば十分?12個の"問題集"を、元の論文で全部たしかめてみた

    こんにちは、よはくです。

    新しいAIが出るたびに、こんな見出しを見かけませんか。

    「過去最高スコアを達成」
    「〇〇を上回る性能」

    そして、表にずらっと数字が並んでいます。

    • 92.3点と91.8点って、何がちがうの?

    • 毎月だれかが「いちばん」になっていて、結局どれがいちばんなの?

    • 点数は上がっているらしいのに、使ってみると、そんなに変わった気がしない

    • そもそも、何のテストの点数なの?

    みなさん、こう思ったことはありませんか。
    わたしは、ずっと「どんぐりの背比べ」に見えていました。

    そこで、よく出てくるスコアの元になっている"問題集"を12個えらんで、作った人たちの論文や公式のページを、一つずつ開いてみました。

    スコアは「決まった問題集の正答率」だった

    まず、いちばん大事なこと。

    AIのスコアの多くは、決まった問題集を解かせて、何問正解したかの割合です。
    学校のテストと、ほとんど同じなんですね。

    こうした問題集のことを「ベンチマーク」と呼びます。

    ここで、ひとつ気づきました。
    学校でも、国語のテストと体育のテストの点数を、くらべたりはしませんよね。

    AIも同じで、問題集によって、測っていることがまったく違うんです。

    問題集は、6つの種類に分かれていた

    12個の問題集を、測っていることで分けてみると、だいたい6つの種類になりました。

    画像
    • ものしりテスト:大学レベルの選択問題。たとえば MMLU は、数学・歴史・法律など57科目。

    • 専門家でも迷う難問:GPQA は、博士の専門家でも正答率は約65%。専門外の人は、ネットで30分以上調べてよくても34%だったそうです。

    • プログラミング:SWE-bench Verified は、実際に使われているソフトの本物の不具合500件を、直せるかどうか。

    • 作業をまかせる:OSWorld は、パソコンを操作して作業をやりきれるか。人間は約72%。

    • パズル・ひらめき:ARC-AGI-2 は、一般の人が2人以上、2回以内で解けた問題だけを集めたパズル。

    • 人気投票:LMArena は、同じ質問への2つの答えを人が見くらべて、よいほうに投票する。

    「スコアが高い」と言っても、どの種類の問題集の点なのかで、意味がまったく変わるんですね。

    どんぐりに見える、3つの理由

    では、どうして「どんぐりの背比べ」に見えるのか。
    論文を読んでいくと、ちゃんと理由がありました。

    画像

    理由1:古い問題集は、もう天井に近い

    MMLU は2020年に作られた、いちばん有名な問題集です。
    でも、上のほうのAIは、もう点数が詰まってきています。

    しかも、2025年の研究「Are We Done with MMLU?」では、専門家が問題を一つずつ確かめたところ、全体の約6.5%の問題に、間違いなどがあったそうです。
    ウイルス学の科目では、なんと57%。

    問題そのものが間違っていたら、満点はとれません。
    天井のすぐ下で、少しの差を争っている。だから、どんぐりに見えるんですね。

    そこで作られたのが、むずかしくした MMLU-Pro です。選択肢を4つから10個にふやしたところ、AIどうしの点の差は、約2%から約9%に広がったと書かれていました。

    理由2:1〜2点の差は、測り方で変わる

    同じAIでも、

    • 考える時間を長くするか

    • 何回か答えさせて、いちばんいいものを選ぶか

    で、点数が変わります。
    発表する会社は、どの条件で測るかを選べます。
    1〜2点の差なら、測り方のちがいの中に入ってしまうことがあるんです。

    理由3:いいものだけ見せている、という指摘も

    人気投票の LMArena についても、2025年に「The Leaderboard Illusion」という論文が出ています。

    それによると、ある会社は、新しいAIを発表する前に、27種類をこっそり試していたそうです。
    いちばん点のよかったものだけを出せば、順位は上がりやすくなります。

    テストの問題が、AIの学習の材料に混ざってしまう心配も、昔からよく言われています。


    ここまでで、「どんぐりに見えるのは、気のせいじゃなかった」ということがわかりました。

    でも、わたしがいちばん知りたかったのは、ここからです。

    じゃあ、どこまで上がれば「十分」なの?

    調べていくと、この答えは、点数の高さではなく、使い道で決まることがわかりました。
    それも、思っていたよりずっと大きな差になって。

    この先では、

    • 「90点」でも、仕事をまかせると35%しか最後までできない、というしくみ

    • 12個の問題集の早見表(何を測るか・目安・どんな人が見るか)

    • ニュースのスコアを読むときのチェックリスト7つ

    • スコアに出てこないこと

    を、まとめています。

    この記事が参加している募集

     
     
    よはくです。読んでくれてありがとうございます。 インターネットで気になったことを、少しずつ書き留めています。 わかったことも、わからなかったことも。 今日も、のんびり考え中。 https://yohakucho.world/

    あなたへのおすすめ