メインコンテンツへスキップ
見出し画像

AIのスコア表を読む。59.4%は、選ばれた138問の監査結果

    モデルAは88点、モデルBは85点。AIの比較表を見て、3点高いほうを選んでよいのでしょうか。

    比較表の点数は、問題の作り方や採点の条件によっても変わります。SWE-bench Verifiedというテストの監査では、選んだ138問の59.4%に問題が見つかりました。この数字の分母をたどると、点数を見るときに確かめたいことが分かります。

    59.4%は、選んだ138問の監査結果

    SWE-bench Verifiedは、実在するソフトウェアの不具合をAIに直させるテストです。修正が自動テストを通ったかで採点します。

    OpenAIが2026年2月23日に公表した監査を確認すると、全500問から、o3が64回の試行でも安定して解けなかった138問を選んでいました(2026年11月2日確認)。各問を6人以上の経験あるエンジニアが独立に見直し、この監査対象の59.4%にテスト設計や問題文の重大な問題があったと報告しています。

    機能として正しい修正でも、想定した実装方法と違うため落ちる場合がありました。監査対象の35.5%は、こうした「狭すぎるテスト」に当たります。


    画像

    解きにくい問題を選んだ監査なので、この割合を「全500問の約6割が誤り」と読み替えることはできません。OpenAIはこの問題と学習データへの混入を理由に、最先端モデルの能力評価ではSWE-bench Proを推奨しています。

    独立した評価機関Epoch AIの説明には、以前の推定として5〜10%の誤り率があり、実行環境上の問題がある16問を除外した評価も記載されています。監査の対象や方法が違うため、59.4%と直接比較する数字ではありません。同じテスト名でも、対象問題や環境を読む必要があります。

    四択の知識テストにも、問題の誤りがある

    プログラムだけの話ではありません。MMLUは57分野の知識を四択で測るテストです。「Are We Done with MMLU?」では、研究チームが57分野の計5,700問に人手で正答などを付け直し、MMLUの誤り率を6.49%と推定しました(論文確認:2026年11月2日)。

    選択肢や正答が適切でなければ、AIが正しく判断しても点数に反映されません。反対に、公開された問題と答えが学習に含まれていれば、初めて解く仕事より高く見える可能性があります。数字が高いかどうかと、何を測っているかは、別に確かめます。

    聞き方でも、点数は動く

    MMLU-Proの論文では、24種類のプロンプト(AIへの指示文)を使って、聞き方による得点の幅を調べています。100点満点に換算すると、MMLUではおおむね4〜5点、MMLU-Proではおおむね2点の幅がありました。テスト自体を替えると正答率も下がっており、論文中のGPT-4oの例では88.7%から72.6%になっています(2026年11月2日確認)。

    この結果は、すべてのモデルの3点差が無意味だという証明ではありません。それでも、異なる会社の表で「88点と85点」を比べる前に、同じ問題、同じ聞き方、同じ道具や試行回数・使える時間で測ったのかを確認する理由にはなります。

    候補を絞ったら、自分の作業で比べる

    比較表では、点数に加えて次の条件を見ます。

    1. テストの版と対象問題数。古い版や独自の除外がないか。

    2. 入力の書き方、使える道具、試行回数。モデル以外の条件が揃っているか。

    3. 誤りや学習への混入について、評価元がどんな留保を示しているか。

    そのうえで、自分が制作に使う原稿を候補のAIへ渡します。例えば、イベントの告知文を短くする作業なら、次のような入力で比べられます。以下は検証方法を説明するための架空の例で、実際のイベントやAIの出力ではありません。

    次の告知を60字以内で要約してください。日付・参加費・定員はすべて残し、元の文にない説明を足さないでください。
    原文:11月15日に作品の展示会を開きます。参加費は500円、定員は20人です。

    期待する要約の一例は「11月15日に作品の展示会を開催。参加費500円、定員20人。」です。言い回しを一致させる必要はありません。日付・参加費・定員の三つが残り、60字以内に収まっているかを見ます。原文にない情報が増えていれば不合格にします。

    比較メモには、モデル名と確認日、同じ原文・指示を使ったか、数字の欠落・字数超過・追加情報の有無を残します。回答の長さの上限など、設定を確認できなければ「未確認」と書き、条件を揃えたとは扱いません。

    数字の欠落や字数超過があれば、原文と指示へ戻って確認します。指示を直して再度試す場合は、両方に同じ修正版を渡します。この短い例での結果を、長い原稿や別の仕事まで得意だという判断へ広げることはできません。

    スコア表は候補探しに使えます。制作に使うAIを選ぶときには、自分の原稿に対して、条件を満たす成果物が返るかまで確かめたいところです。

    この記事が参加している募集

     
     
    AIで「ひとりで作る」をもっと身近に。音楽・Webメディアを個人で制作・運営しています。ツール選びや費用、制作・自動化の手順をわかりやすく整理。個人制作を進めたい方へ。 制作物・ポートフォリオ:https://hide-works.net/

    あなたへのおすすめ