メインコンテンツへスキップ
見出し画像

AIの「成績表」ってどうなってる?私が知った、賢さを測る『テスト』の正体

    生成AIのニュースを見ていると、「このモデルは賢い」「性能が向上した」といった言葉をよく目にします。

    その「賢さ」や「性能」が、具体的にどうやって測られているのか、私はずっと不思議に思っていました。

    今日は、AIの賢さを客観的に測るために使われている「ベンチマーク」について、一緒に見ていきたいと思います。

    【AIの「賢さ」を測る基準】


    AIの能力を客観的に評価し、モデル同士を比較するための基準を、専門用語で「ベンチマーク」と呼ぶそうです。

    これは、共通のテストを用意し、複数のAIに同じ条件で受けさせる仕組みです。

    例えるなら、自動車の燃費テストや、アスリートの体力測定のようなものだと感じています。

    AIのテストにも、知識量や推論能力、会話の自然さなど、測りたい能力によって様々な種類があるようです。

    【幅広い知識を問う「MMLU」】


    ニュースなどで特に頻繁に見かけるのが「MMLU」というベンチマークです。

    簡単に言えば、「多岐にわたる分野の知識と、それらを理解する能力を測るテスト」のことです。

    ・歴史
    ・法律
    ・数学
    ・哲学

    まるで人間が受ける高校や大学の、幅広い科目の総合テストのようなものだとイメージしています。

    AIがどれだけ広範囲の知識を、文脈に沿って「それらしく」扱えるかを測るのに使われているようです。

    【人間が評価する「Chatbot Arena」】


    一方で、知識の正確さだけでは測れない「使いやすさ」を評価する、面白い仕組みもあります。

    それが「Chatbot Arena」です。

    ユーザーが同じ質問を二つの匿名化されたAIに投げかけ、どちらの回答が優れているかを人間が直接評価し投票します。

    知識の正誤だけでなく、「会話の自然さ」や「分かりやすさ」、「親切さ」といった、人間が感じる印象が大きく影響します。

    「MMLU」の点数が高いからといって必ずしも自分にとって使いやすいわけではない、ということを教えてくれる指標だと感じます。

    【今日の持ち帰り】


    AIのニュースやツールの比較記事を見かけたら、ぜひこんなお願いをしてみてください。

    「ニュースで見かけた、AIの『MMLU』の点数が何を意味するのかを調べてみてください。」

    AIの「成績表」であるベンチマークを見ることで、そのAIが何を得意とし、何を苦手としているのか、見当をつけることができるようです。

    私もまだ学び始めたばかりですが、こうした客観的な評価を参考にしながら、自分に合ったAIを見つけていきたいと思っています。

    【参考にした記事】

    ・生成AIのベンチマークだけで選べる?同じ企画作成を3つのモデルに任せて検証
    https://lp.yoom.fun/blog-posts/choosing-generative-ai-by-benchmarks-testing-three-models
    ・生成AIの正しい性能比較方法とは?実務で使える評価指標と簡単テスト術
    https://re-study.jp/ai-seinou-hikaku-zitumu/

     
     
    生成AIを、一から調べています。非エンジニアで、プログラミングは分かりません。調べて分かったことも、まだモヤっとしていることも、そのまま書いています。教える立場ではなく、となりで一緒に迷っている人として。ほぼ毎日更新。

    あなたへのおすすめ