
「AIのベンチマーク」とは?スコアは何の点数?どこまで上がれば十分?12個の"問題集"を、元の論文で全部たしかめてみた
こんにちは、よはくです。
新しいAIが出るたびに、こんな見出しを見かけませんか。
「過去最高スコアを達成」
「〇〇を上回る性能」
そして、表にずらっと数字が並んでいます。
92.3点と91.8点って、何がちがうの?
毎月だれかが「いちばん」になっていて、結局どれがいちばんなの?
点数は上がっているらしいのに、使ってみると、そんなに変わった気がしない
そもそも、何のテストの点数なの?
みなさん、こう思ったことはありませんか。
わたしは、ずっと「どんぐりの背比べ」に見えていました。
そこで、よく出てくるスコアの元になっている"問題集"を12個えらんで、作った人たちの論文や公式のページを、一つずつ開いてみました。
スコアは「決まった問題集の正答率」だった
まず、いちばん大事なこと。
AIのスコアの多くは、決まった問題集を解かせて、何問正解したかの割合です。
学校のテストと、ほとんど同じなんですね。
こうした問題集のことを「ベンチマーク」と呼びます。
ここで、ひとつ気づきました。
学校でも、国語のテストと体育のテストの点数を、くらべたりはしませんよね。
AIも同じで、問題集によって、測っていることがまったく違うんです。
問題集は、6つの種類に分かれていた
12個の問題集を、測っていることで分けてみると、だいたい6つの種類になりました。

ものしりテスト:大学レベルの選択問題。たとえば MMLU は、数学・歴史・法律など57科目。
専門家でも迷う難問:GPQA は、博士の専門家でも正答率は約65%。専門外の人は、ネットで30分以上調べてよくても34%だったそうです。
プログラミング:SWE-bench Verified は、実際に使われているソフトの本物の不具合500件を、直せるかどうか。
作業をまかせる:OSWorld は、パソコンを操作して作業をやりきれるか。人間は約72%。
パズル・ひらめき:ARC-AGI-2 は、一般の人が2人以上、2回以内で解けた問題だけを集めたパズル。
人気投票:LMArena は、同じ質問への2つの答えを人が見くらべて、よいほうに投票する。
「スコアが高い」と言っても、どの種類の問題集の点なのかで、意味がまったく変わるんですね。
どんぐりに見える、3つの理由
では、どうして「どんぐりの背比べ」に見えるのか。
論文を読んでいくと、ちゃんと理由がありました。

理由1:古い問題集は、もう天井に近い
MMLU は2020年に作られた、いちばん有名な問題集です。
でも、上のほうのAIは、もう点数が詰まってきています。
しかも、2025年の研究「Are We Done with MMLU?」では、専門家が問題を一つずつ確かめたところ、全体の約6.5%の問題に、間違いなどがあったそうです。
ウイルス学の科目では、なんと57%。
問題そのものが間違っていたら、満点はとれません。
天井のすぐ下で、少しの差を争っている。だから、どんぐりに見えるんですね。
そこで作られたのが、むずかしくした MMLU-Pro です。選択肢を4つから10個にふやしたところ、AIどうしの点の差は、約2%から約9%に広がったと書かれていました。
理由2:1〜2点の差は、測り方で変わる
同じAIでも、
考える時間を長くするか
何回か答えさせて、いちばんいいものを選ぶか
で、点数が変わります。
発表する会社は、どの条件で測るかを選べます。
1〜2点の差なら、測り方のちがいの中に入ってしまうことがあるんです。
理由3:いいものだけ見せている、という指摘も
人気投票の LMArena についても、2025年に「The Leaderboard Illusion」という論文が出ています。
それによると、ある会社は、新しいAIを発表する前に、27種類をこっそり試していたそうです。
いちばん点のよかったものだけを出せば、順位は上がりやすくなります。
テストの問題が、AIの学習の材料に混ざってしまう心配も、昔からよく言われています。
ここまでで、「どんぐりに見えるのは、気のせいじゃなかった」ということがわかりました。
でも、わたしがいちばん知りたかったのは、ここからです。
じゃあ、どこまで上がれば「十分」なの?
調べていくと、この答えは、点数の高さではなく、使い道で決まることがわかりました。
それも、思っていたよりずっと大きな差になって。
この先では、
「90点」でも、仕事をまかせると35%しか最後までできない、というしくみ
12個の問題集の早見表(何を測るか・目安・どんな人が見るか)
ニュースのスコアを読むときのチェックリスト7つ
スコアに出てこないこと
を、まとめています。