メインコンテンツへスキップ
見出し画像

資料を見せたら、AIは「分からない」と言えるか――資料をつなぐ計算は、単純なやり方に勝てなかった

    前回までの実験では、AIの答えを、AI自身の自信と、答えどうしのつながりだけで確かめていました。AIの外にある資料は使っていませんでした。

    AKANE Architectureの「確かめる仕組み」は、本来、外の記憶や資料に照らして答えを確かめるものです。そこで今回は、AIに資料を見せたうえで、資料が足りないときや食い違うときに「分かりません」と言えるか、を調べました。

    先に言うと、資料を使うと「資料が足りない」ことに気づきやすくなる、という手ごたえはありました。ただ、資料どうしを網のようにつないで確率で計算するやり方は、もっと単純なやり方に勝てませんでした。

    なぜ「分からない」が大事か

    AIの困った所は、間違えることそのものより、間違っているときも自信ありげに答えることだと考えています。自信のない所では答えずに「分かりません」と言えれば、答えた分の正しさは上がります。

    そこで今回は、「全部に答えたときの正しさ」ではなく、「自信のある順に答えて、自信のない所は答えない」としたとき、答えた分がどれだけ正しいかで比べました。答える割合を100%・90%・70%・50%と減らしていき、正しさがどれだけ上がるかを見ます。

    今回やったこと

    材料は、HoVerという公開のテストです。1つの主張が、2〜4本のWikipediaの記事にまたがっています。たとえば「映画Xの監督は、Yと同じ町の生まれだ」のように、記事を渡り歩かないと確かめられない主張です。正解は「資料が支える」か「資料が反する」かで、資料も付いています。使ったのは3,952件です(下準備の試しで中身を見た48件は除きました)。

    使ったAIは、どれも手元のパソコンでも動く大きさのものです。

    ・小さな言葉のAI(GoogleのGemma-2 2B):資料と主張を見て、正しいか正しくないかと、その自信を出す。

    ・少し大きな言葉のAI(同じくGemma-2 9B):主張を小さな部分に分け、名前の書かれていない人や物(「映画Xの監督」など)の候補を資料から探す。

    ・文どうしの関係を判定する専用のAI:資料の段落ごとに、主張や部分の主張を「支える/反する/どちらとも言えない」と判定する。

    比べた方法は次のとおりです。

    ・AIの自信:Gemma-2 2Bの自信の順に答える。

    ・矛盾を数える:資料の文で、支えるものと反するものを数える。

    ・特徴を足す:判定AIの数字(一番強い支え、一番強い反対など11個)を並べて、どれをどのくらい重く見るかを、学習で決める。

    ・資料の重みを合わせる計算(デンプスター・シェーファー):「分からない」の分を残しながら資料を合わせる。

    ・決まった論理:部分の主張が全部○なら「支える」。

    ・網なしの簡単な式:部分の主張のうち、一番怪しいものの確からしさを使う。

    ・網:名前の候補・部分の主張・元の主張をつなぎ、確率で計算する(これまでの記事で使ってきた確率伝搬の考え方)。

    比べ方と勝ち負けの決め方は、実験の前に書いて固定しました。データを5つに分けて5回測り、差が0.02以上で、5回中4回以上上回ったときだけ「勝ち」としました。

    結果:一番良かったのは、網ではなかった

    答える割合を半分にしたとき、答えた分の正しさは次のとおりでした。

    ・特徴を足す:82.5%

    ・網:78.0%

    ・AIの自信:76.9%

    ・網なしの簡単な式:76.2%

    ・資料の重みを合わせる計算:73.5%

    ・決まった論理:71.2%

    ・矛盾を数える:66.4%

    答える割合をいろいろ変えたときの全体の成績で、先に決めた基準に当てはめると、網は「網なしの簡単な式」「資料の重みを合わせる計算」「矛盾を数える」には、5回とも勝ちました。けれど、AIの自信とは同じくらい、特徴を足すやり方には5回とも負けました。

    記事を3本、4本とまたぐ難しい主張ほど網の差が広がる、と予想していましたが、そうはなりませんでした。難しい主張では、網はAIの自信より少し下でした。

    資料を1本抜いてみた

    もう一つ、確かめたことがあります。「資料が支える」主張から、資料の段落を1つくじで抜きました。本当なら、もう答えられなくなる場面です。

    すると、Gemmaは「正しい」と答える割合が75%から41%に変わりました。答えはこれだけ変わったのに、自信の大きさは、抜く前とほとんど同じでした。資料が欠けたことに気づかず、自信を持ったまま答えを変えていた、ということになります。

    一方、資料の判定を使う方法は、抜くと自信が下がりました。網では下がり方は小さく、網なしの簡単な式のほうがはっきり下がりました。

    この結果が意味すること

    資料を使うと、AIの自信だけでは気づけない「資料が足りない」場面に、少し気づけるようになる。ここは手ごたえがありました。

    一方で、資料を網でつなぐ意味は、今回は見えませんでした。勝ったのは、判定AIの数字を並べて重みを学ぶだけの、単純なやり方でした。前回までのルールの網の実験でも、似た形で、凝った計算が単純な計算に勝てませんでした。

    先行研究とも、ある程度そろっています。資料の文ごとに支える・反するを判定し、食い違えば控えるやり方は、AIの自信に勝てなかった、という報告がありました(Pandian 2026)。今回も「矛盾を数える」は一番下でした。判定の数字を並べて学ぶやり方(SURE-RAGの形)は、今回一番でした。資料を網でつないで控える方法を、これらと同じ物差しで並べた例は見当たらなかったので、そこを確かめた、という位置づけです。

    言えること、言えないこと

    ・資料を網でつなぐ私のやり方が、ほかより良いとは言えません。

    ・今回動かした網には、計画で入れるつもりだった「資料の文どうしの食い違い」のつながりが入っていませんでした。そのため網は輪のない小さな形で、ほとんど掛け算に近い計算でした。輪のある網なら違う結果になるかは、確かめていません。

    ・特徴を足すやり方は学習を使い、網は調整する数がありません。学習とテストは分けていますが、条件は同じではありません。

    ・テストは英語の1つだけ(HoVer、正解の資料付き)で、AIも小さいものだけです。

    ・資料を1本抜く確かめでは、主張の分け方と名前の候補は、抜く前の資料で作ったものをそのまま使いました。資料の判定を使う方法に少し有利です。

    おわりに

    資料を見せれば「分からない」と言える、という所までは、少し近づけたと考えています。けれど、そのために網でつなぐ必要があるかというと、今回は答えが「いいえ」寄りでした。

    ここまでの実験の網は、どれも小さく、輪のほとんどない形でした。輪のない網では、確率伝搬は簡単な掛け算とほとんど同じになります。網の考え方が本当に効くとすれば、たくさんの知識が輪になってつながる、大きな記憶の網の場面だと考えています。そして、そういう網こそ、計算が難しくなり、p-bitのような部品に任せたくなる場面です。次は、輪の多い大きな網で、確率伝搬とp-bitの方式に差が出るかを調べる予定です。

    研究は、AKANE AIの開発の合間に少しずつ進めます。

    前回の記事:https://note.com/mst_design2020/n/n1af3e4380f0c

    実験のコードと結果のファイルは、次の場所で公開しています(説明は日本語と英語)。https://github.com/mst-design2020/akane-e2-experiments

    参考文献

    著者:加藤雅也(M.S.T.デザイン代表・大分県佐伯市)https://mst-design.jp/

     
     
    エネルギーベースモデルのAI研究「AKANEアーキテクチャ」の提唱者・個人研究者。大分県佐伯市でM.S.T.デザイン代表(Web制作・映像・写真・デザイン)。研究のまとめ https://mst-design.jp/research/

    あなたへのおすすめ