
AIが自分で作ったルールの外れは、どれだけ損になるか――損に見えた分の多くは、正解表のほうにあった
前回の記事では、AIの答えを大きな網にまとめても、単純なやり方に勝てなかったことを書きました。効いていたのは網の計算の仕方ではなく、ルールそのものでした。
そうなると、次の疑問が出てきます。そのルールは、AIが自分で作ったものです。ルール自体が間違っていたら、全部が崩れるのではないか。今回はこの疑問を、3つの段で確かめました。
・正解の付いたデータがまったくない場面でも、ルールは効くか
・答え合わせに使う正解表は、本当に正しいか
・AIが作ったルールの外れは、答え直しでどれだけ損になるか
先に言うと、AIが作ったルールの外れは、思っていたほどの損にはなりませんでした。損に見えた分の多くは、AIではなく、答え合わせに使った正解表の側にありました。一方で、これまで続けてきた「ルールも疑う確率伝搬」は、AI自身のルールでは役に立ちませんでした。
1. 正解のない場面で、網は効くか
前回の比べ相手「特徴を学習で組み合わせるやり方」は、正解の付いたデータを2割使って学習していました。正解の付いたデータがない場面なら、ルールだけで動ける網に出番があるかもしれません。そこで、前回と同じGemma(Googleの小さな言葉のAI)の答え8万問と同じ網を使い、正解を一切使わずに比べました。正解は採点だけに使います。
近い先行研究に、正解なしで複数のAIの間違いの割合を、ルールを使って推し量るものがあります(Platanios ほか 2017)。また、正解なしでAIの「はい/いいえ寄りの癖」を消す簡単な方法もあります(Batch Calibration、Zhou ほか 2024)。今回は、1つの小さなAIの答えと、そのAI自身の分類の知識を網にまとめ、「分からない」と控える力を比べました。
答える割合を半分にしたとき、答えた分の正しさは次のとおりでした。
・慎重な網:84.4%
・矛盾を数える:84.3%
・大きな網:81.0%
・AIの自信:77.1%
・正解なしの癖消し(Batch Calibration):76.1%
網は、AIの自信と癖消しには5回とも勝ちました。ただ、同じルールで矛盾を数えるだけのやり方とは、同じくらいでした。ここでも効いていたのは、網の計算よりルールのほうだと考えています。
2. 正解表を見直すと
数字を見ていて、驚くほど低い所がありました。「Gemmaが一番信じてしまったうそ」を、どのやり方でもあまり見抜けていなかったのです。
そこで、正解表(英語の辞書WordNetの分類)を見ずに、700個を常識で判定し直しました。すると、「Gemmaが一番信じたうそ」の約3分の1は、普通の感覚では正しい答えでした。たとえば、agua(水)は飲み物、velvet(ビロード)は材料、economist(経済学者)は働く人、といったものです。WordNetが言葉の意味を狭く取っているため、うそに数えられていました。
この見直しは前回の記事に追記しましたが、今回の話の土台になるので、もう一度書いておきます。
3. AIが作ったルールの外れは、どれだけ損か
ここが今回の本題です。AIの分類の知識がどれくらい外れるかを測った研究はあります(TaxoGlimpse 2024 など)。ルールで答えを直す研究もあります(BeliefBank 2021、ConCoRD 2022 など)。ただ、後者はルールが正しいと置いています。AIが自分で作ったルールの外れが、そのルールで答えを直すときにどれだけ響くかを測ったものは、見当たりませんでした。
やり方は単純です。AIの答えはそのままにして、ルールだけを入れ替えます。
・正しいルール(正解表のとおり)
・Gemmaが作ったルール(Gemmaの「はい/いいえ」のとおり)
・Gemmaのルールの外れを、2割・5割・8割直したもの
・Gemmaが強く信じたルールだけを残したもの
それぞれで、矛盾を数えるやり方、ルールを全部信じる網、ルールも疑う網、特徴を学習で組み合わせるやり方を比べました。新しくAIに聞く必要はなく、前回の答えをそのまま使えました。
分野は2つです。1つは前回と同じ分類(WordNet)、もう1つは病気の分類です(Human Disease Ontology という病気の分類表を正解にしました)。地理も考えましたが、Gemmaの地理のルールは99%正しく、外れがほとんどないので測れませんでした。
採点は、正解表で採点する方法と、常識で採点する方法の2通りで行いました。常識の判定は、2つのAI(ClaudeとGemini)に別々に付けさせました。人の判定ではありません。2つのAIの判定は、約9割一致しました。
分類(WordNet)
Gemmaの「AはBの一種」のルールは、「はい」と言った144組のうち、正解表で正しいのは48組だけでした。数字だけ見ると、3つに2つが外れです。
答える割合を半分にしたとき、ルールを全部信じる網の正しさは、正しいルールで96.8%、Gemmaのルールで92.5%でした。正解表で採点すると、Gemmaのルールにはたしかに損があります。損のほとんどは「一種」のルールの外れから来ていて、そこだけ直すと正しいルールとほぼ同じになりました。
ところが、常識で採点すると、この損はほとんど消えました(控える力の物差しAURCで、差0.000〜0.007)。Gemmaの「外れたルール」には、野菜は食べ物の一種、車は機械の一種、人は哺乳類の一種のように、正解表の狭い意味では外れでも、普通の感覚では正しいものが多く混ざっていたためです。

病気
Gemmaの「両立しない(どの病気も両方には入らない)」のルールは、病気の分類表と83.5%一致しました。外れは38組です。
病気の分類表で採点すると、Gemmaのルールの損はほとんどありませんでした。ただ、病気はGemmaの自信だけでもよく当たる分野で、そもそもルールの効き目が小さかったことも理由だと考えています。常識で採点しても、ほとんどのやり方で損は見えませんでした。
外れとされた38組を見ると、ここでも正解表の決め方の狭さが出てきました。病気の分類表の「両立しない」は、「表の中に両方に入る病気が1つもない」という意味です。そのため、たとえば心臓の病気とウイルス感染は、表の上では両立しないことになっていました。
ルールは捨てないほうがよかった
Gemmaが強く信じたルールだけを残し、弱いものを捨てると、かえって悪くなりました(分類で、半分答えたときの正しさ 92.5%→87.2%)。外れが混ざっていても、ルールが抜けることの損のほうが大きいようです。
ルールも疑う網は、効かなかった
E2の頃から、「ルールも疑う確率伝搬」を試してきました。わざと外したルールでは、疑うほうが保険として働きました。しかし、AI自身が作ったルールでは、役に立ちませんでした。
分類では、Gemmaは自分のルールにいつもほぼ100%の自信を持っていて、疑う量がほとんど出ませんでした。そのため、ルールを全部信じる網と同じ結果になりました。病気では、Gemmaのルールへの自信が弱く、その弱い自信のままルールを置くと、5回とも悪くなりました。
実験の前に書いた予想は、分類で4つのうち2つ、病気で4つのうち1つしか当たりませんでした。外れた予想も、計画書にそのまま残しています。
この結果が意味すること
「AIが作ったルールが間違っていたら、全部が崩れるのではないか」という心配は、今回の2つの分野では大きくありませんでした。外れたルールの多くは、正解表の決め方の狭さで外れに数えられたもので、常識で見れば正しいか、どちらとも言えるものでした。本当の外れも混ざっていますが、ルールを捨てるより使うほうが良い結果でした。
もう1つ分かったのは、物差しの大切さです。正解表を1つに決めて数字を出すと、AIの「間違い」の中に、正解表の側の癖がかなり混ざります。数字が驚くほど低いときは、まず正解表を疑うべきだと考えています。
言えること、言えないこと
・AIの作ったルールが、どの分野でも安全だとは言えません。分野は2つ(ものの分類、病気の分類)、AIは小さいもの1つ、英語だけです。
・常識の判定は2つのAIによるもので、人の判定ではありません。医学の判定も専門家のものではありません。病気の組の判定では、Geminiが全部を同じ答えにしたので、組の当たり外れの判定は1つのAI分だけです。
・ルールの外れは正解表で決めているので、「外れを直す」の向きも正解表寄りです。
・病気の実験は、前に集めた答えの使い回しです。
・正解のない場面の結果(1.)は、ルールの強さを決め打ちにしています。
おわりに
大きな網の次に、ルールそのものを疑ってみましたが、結果は「ルールは思ったより頑丈で、むしろ正解表のほうに注意が要る」というものでした。
残っている問いは、常識で見てもはっきり間違っている、AIが自信を持って言ってしまう答えです。これはルールの外れとは別の問題で、外の資料(辞書の説明文など)で直せるかを、次に考えています。
研究は、AKANE AIの開発の合間に少しずつ進めます。
前回の記事:https://note.com/mst_design2020/n/nd323ba54cf92
実験のコードと結果のファイルは、次の場所で公開しています(説明は日本語と英語)。https://github.com/mst-design2020/akane-e2-experiments
参考文献
Platanios・Poon・Mitchell・Horvitz「Estimating Accuracy from Unlabeled Data: A Probabilistic Logic Approach」NeurIPS 2017 https://arxiv.org/abs/1705.07086
Zhou ほか「Batch Calibration: Rethinking Calibration for In-Context Learning and Prompt Engineering」ICLR 2024 https://arxiv.org/abs/2309.17249
Dawid・Skene「Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm」Applied Statistics 1979
Sun ほか「Are Large Language Models a Good Replacement of Taxonomies?」(TaxoGlimpse)VLDB 2024 https://arxiv.org/abs/2406.11131
Kassner ほか「BeliefBank: Adding Memory to a Pre-Trained Language Model for a Systematic Notion of Belief」EMNLP 2021
Mitchell ほか「Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference」(ConCoRD)EMNLP 2022
Ratner ほか「Snorkel: Rapid Training Data Creation with Weak Supervision」VLDB 2017 https://arxiv.org/abs/1711.10160
Miller「WordNet: A Lexical Database for English」Communications of the ACM 1995
Schriml ほか「The Human Disease Ontology 2022 update」Nucleic Acids Research 2022
Gemma Team「Gemma 2: Improving Open Language Models at a Practical Size」2024 https://arxiv.org/abs/2408.00118
著者:加藤雅也(M.S.T.デザイン代表・大分県佐伯市)https://mst-design.jp/