メインコンテンツへスキップ
見出し画像

先行研究と同じテストで比べてみた――AIの嘘探しで、負けた所と崩れなかった所

    前回までの記事で、AIの答えの間違いを、答えどうしのつじつまから見つける実験を書いてきました。その中で、同じように「つじつま」から言葉のAIの嘘を見つける研究が、すでに国際学会で発表されていることにも触れました。BTPropという方法です。

    自分のやり方に意味があるのかを知るには、その研究と同じテストで比べるのが一番だと考えました。今回は、その結果を書きます。先に言うと、論文の得意な場面では負けました。ただ、条件を変えると、はっきり違う形が出ました。

    そもそも何をしたいのか

    ChatGPTのような言葉のAIは、もっともらしい嘘をつくことがあります。ハルシネーションと呼ばれています。人の経歴を聞くと、生まれた年や出身校を、自信がありそうにでたらめに書くことがあります。

    AKANE Architectureでは、AIがまず答え、そのあとで、AIの外にある「確かめる仕組み」が、その答えを記憶やルールに照らして確かめる、という形を考えています。今回も、この確かめる仕組みのテストです。

    確かめ方の基本は、つじつまです。1つの文だけを見ても本当か嘘かは分かりにくいのですが、関係のある文と並べると、「この2つは両方本当ではありえない」といった手がかりが出てきます。

    BTPropとはどんな方法か

    BTProp(Hou ほか、2025年、NAACL)は、AIが書いた1つの文について、次のことをします。

    ・文を小さく分ける。たとえば「ジョンはイギリスの弁護士で、作家でもあった」を「ジョンは弁護士だった」「ジョンは作家だった」に分けます。

    ・言い換えたり、少し変えた文を作ったりする。たとえば「ジョンは医者だった」のような、元の文と両立しない文も作ります。

    ・文どうしの関係を、文の関係を判定する別のAI(NLIと呼ばれる種類のAI)で調べる。「片方が本当なら、もう片方も本当」「両方本当はありえない」などです。

    ・それぞれの文について、AIに「本当か嘘か」を聞き、その自信を数字で取る。

    こうしてできた文の木全体で確率を計算し、元の文が本当である見込みを出します。論文では、AIの自信をそのまま使うより、嘘を見つける力がはっきり上がったと報告されています。

    大事な点は、BTPropは、文どうしの関係(以下「つながり」)を、絶対に正しいものとして扱うことです。

    今回やったこと

    ありがたいことに、BTPropの作者は、論文で使った文の木と、ChatGPTの自信の数字を公開していました。そこで、その材料をそのまま借りました。木も、つながりも、自信も、論文と同じです。違うのは、最後の確率の計算だけです。

    ・BTProp:つながりは絶対に正しいとして計算します。

    ・私の確率伝搬:これまでの記事と同じ方法です。つながりも「たぶん正しい」くらいに弱めに信じて計算します。どれくらい信じるかは、データの2割を使って自分で合わせ、残りの8割で測ります。

    テストは、論文で使われた2つです。

    ・WikiBio:AIが書いた人物の紹介文。1文ずつ、人が本当か嘘かを確かめた正解が付いています(嘘が多めです)。

    ・FactCheckGPT:いろいろな質問へのAIの答え。こちらも1つずつ人が正解を付けています。

    物差しはAUROCで、0.5なら当てずっぽう、1.0なら完ぺきに嘘を見分けられたことになります。勝ち負けの決め方は、実験の前に書いて固定しました。データの分け方を変えて5回測り、平均で0.02以上の差があり、5回中4回以上上回ったときだけ「勝ち」です。

    1つ目の結果:論文と同じ条件では負け

    ・WikiBio:AIの自信 0.73、BTProp 0.80、私の確率伝搬 0.77。5回ともBTPropが上で、BTPropの勝ちです。

    ・FactCheckGPT:AIの自信 0.75、BTProp 0.79、私の確率伝搬 0.80。差は0.01ほどで、同じくらいです。

    まず、BTPropが自信より良くなる幅は、論文の報告と同じくらいでした。論文の結果を、公開された材料で確かめられたことになります。

    私の確率伝搬も、AIの自信よりは良くしています。ただ、WikiBioではBTPropに届きませんでした。WikiBioの木には「文を小さく分ける」つながりがたくさんあり(FactCheckGPTの木にはありません)、その扱いはBTPropの作りのほうが合っていたようです。BTPropの数字の読み方の表は、WikiBioの一部で作られているので、その分の有利もあると考えています。

    なお、公開されているBTPropのプログラムでは、木が作れなかった文を、すべて「本当」として扱っていました。FactCheckGPTでは48文がこれに当たります。そのままだとBTPropが不利になるので、この文だけはAIの自信を使うようにそろえて比べました。上の数字は、そろえたあとのものです。

    2つ目の実験:つながりをわざと外す

    論文の材料では、つながりは関係を判定するAIが自動で付けたものです。それがどのくらい正しいかは、確かめられていません。そして実際には、つながりを付ける仕組みも間違えます。話題が専門的になるほど、間違いは増えるはずです。

    これまでの記事で私が確かめてきたのは、まさにこの場面でした。ルールに外れが混ざっていても、ルールそのものを疑いながら計算すれば崩れにくい、ということです。

    そこで、論文の木のつながりを、くじで選んでわざと逆にしました。「片方が本当ならもう片方も本当」を「両方本当はありえない」に、またはその逆にします。逆にした割合は、0割、1割、2割、3割、5割の5段階です。BTPropも私の確率伝搬も、同じ外れた木を使います。私の方法には、どれだけ外れているかは教えていません。


    画像

    2つ目の結果:BTPropは崩れ、疑う計算は崩れなかった

    ・BTPropは、つながりの外れが増えるほど、嘘を見つける力が下がりました。外れが2〜3割を超えると、木を使わずにAIの自信だけで判断するより悪くなりました。外れ5割では0.60〜0.65です。

    ・私の確率伝搬は、外れが増えても、AIの自信の近くで止まりました。大きくは崩れませんでした。

    ・FactCheckGPTでは外れ2割から、WikiBioでは外れ5割で、私の確率伝搬の「勝ち」でした。WikiBioの外れ3割は、5回とも上でしたが差が0.02に届かず、「同じくらい」です。

    これは、実験の前に書いておいた予想どおりの形でした。

    この結果が意味すること

    つながりが正しいと分かっている場面では、つながりを絶対に信じるBTPropのほうが強い。つながりに外れが混ざる場面では、つながりも疑う計算のほうが崩れにくい。今回の結果は、そう読めると考えています。

    私の方法が強いのは、たくさんの文を見比べて「このつながりは、ほかの手がかりと合わないから怪しい」と、正解を教えなくても割り引いて考えられるからだと考えています。その代わり、つながりが正しいときには、正しいつながりまで少し割り引いてしまうので、損をします。

    前回の記事では、ルールを疑うことは保険のようなものだ、と書きました。ルールが正しいときは少し損をして、外れが多いときに大きく崩れるのを防ぐ、という意味です。今回、自分で作ったテストではなく、国際学会の論文と同じ材料でも、同じ形が見えました。

    AKANE Architectureの「確かめる仕組み」は、外れの混ざった記憶やルールを持つことを前提にしています。その前提では、つながりを疑いながら照らし合わせる作りが、崩れにくさの役に立つ。今回の結果は、その手がかりの一つだと考えています。逆に、つながりが確かな所では、信じる作りのほうが良いので、両方を使い分ける形が合っているのかもしれません。

    言えること、言えないこと

    ・私の方法がBTPropより優れている、とは言えません。論文と同じ条件では、負けか同じくらいでした。

    ・2つ目の実験の外れは、くじで選んでわざと逆にしたものです。本物の判定AIが自然に出す間違いとは形が違います。本物の間違いが2〜3割もあるのかどうかも、今回は調べていません。

    ・文を小さく分けるつながりは、外していません。

    ・材料はすべて論文の作者が作ったもので、木もChatGPTで作られています。WikiBioの文は、作者が「彼」などを名前に置き換えた形で公開されていなかったため、公開されている正解と、文の似かたで突き合わせました(929文中924文)。

    ・BTPropのプログラムには、利用の条件(ライセンス)の表示がありません。そのため、私の公開場所にはBTPropのプログラムそのものは置かず、取ってきて使う手順だけを置いています。

    ・つながりの当てにならなさを変えて比べる考え方は、たくさんの当てにならない手がかりから学ぶ研究(Snorkel、2017年)や、間違ったルールの数を変えて試した研究(Yang ほか、2024年)にもあります。今回は、それを言葉のAIの嘘探しで、論文と同じ材料を使って確かめた、という位置づけです。調べた範囲では同じ形のものは見当たりませんでしたが、見落としている可能性はあります。

    おわりに

    自分のやり方を、すでにある研究と同じ土俵で比べるのは、正直こわい作業でした。結果は、得意な場面では負け、つながりが当てにならない場面では崩れない、というものでした。勝ち負けよりも、どんな場面で役に立つのかがはっきりしたことに、意味があったと考えています。

    研究は、AKANE AIの開発の合間に少しずつ進めます。

    実験のコードと結果のファイルは、次の場所で公開しています(説明は日本語と英語)。https://github.com/mst-design2020/akane-e2-experiments

    参考文献

    • Hou ほか「A Probabilistic Framework for LLM Hallucination Detection via Belief Tree Propagation」(BTProp)NAACL 2025 https://arxiv.org/abs/2406.06950

    • Manakul ほか「SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models」EMNLP 2023(WikiBioのテスト)https://arxiv.org/abs/2303.08896

    • Wang ほか「Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers」2024(FactCheckGPTのテスト)https://arxiv.org/abs/2311.09000

    • Ratner ほか「Snorkel: Rapid Training Data Creation with Weak Supervision」VLDB 2017 https://arxiv.org/abs/1711.10160

    • Yang ほか「Safe Abductive Learning in the Presence of Inaccurate Rules」AAAI 2024

    著者:加藤雅也(M.S.T.デザイン代表・大分県佐伯市)https://mst-design.jp/

     
     
    エネルギーベースモデルのAI研究「AKANEアーキテクチャ」の提唱者・個人研究者。大分県佐伯市でM.S.T.デザイン代表(Web制作・映像・写真・デザイン)。研究のまとめ https://mst-design.jp/research/

    あなたへのおすすめ