
先行研究と同じテストで比べてみた――AIの嘘探しで、負けた所と崩れなかった所
前回までの記事で、AIの答えの間違いを、答えどうしのつじつまから見つける実験を書いてきました。その中で、同じように「つじつま」から言葉のAIの嘘を見つける研究が、すでに国際学会で発表されていることにも触れました。BTPropという方法です。
自分のやり方に意味があるのかを知るには、その研究と同じテストで比べるのが一番だと考えました。今回は、その結果を書きます。先に言うと、論文の得意な場面では負けました。ただ、条件を変えると、はっきり違う形が出ました。
そもそも何をしたいのか
ChatGPTのような言葉のAIは、もっともらしい嘘をつくことがあります。ハルシネーションと呼ばれています。人の経歴を聞くと、生まれた年や出身校を、自信がありそうにでたらめに書くことがあります。
AKANE Architectureでは、AIがまず答え、そのあとで、AIの外にある「確かめる仕組み」が、その答えを記憶やルールに照らして確かめる、という形を考えています。今回も、この確かめる仕組みのテストです。
確かめ方の基本は、つじつまです。1つの文だけを見ても本当か嘘かは分かりにくいのですが、関係のある文と並べると、「この2つは両方本当ではありえない」といった手がかりが出てきます。
BTPropとはどんな方法か
BTProp(Hou ほか、2025年、NAACL)は、AIが書いた1つの文について、次のことをします。
・文を小さく分ける。たとえば「ジョンはイギリスの弁護士で、作家でもあった」を「ジョンは弁護士だった」「ジョンは作家だった」に分けます。
・言い換えたり、少し変えた文を作ったりする。たとえば「ジョンは医者だった」のような、元の文と両立しない文も作ります。
・文どうしの関係を、文の関係を判定する別のAI(NLIと呼ばれる種類のAI)で調べる。「片方が本当なら、もう片方も本当」「両方本当はありえない」などです。
・それぞれの文について、AIに「本当か嘘か」を聞き、その自信を数字で取る。
こうしてできた文の木全体で確率を計算し、元の文が本当である見込みを出します。論文では、AIの自信をそのまま使うより、嘘を見つける力がはっきり上がったと報告されています。
大事な点は、BTPropは、文どうしの関係(以下「つながり」)を、絶対に正しいものとして扱うことです。
今回やったこと
ありがたいことに、BTPropの作者は、論文で使った文の木と、ChatGPTの自信の数字を公開していました。そこで、その材料をそのまま借りました。木も、つながりも、自信も、論文と同じです。違うのは、最後の確率の計算だけです。
・BTProp:つながりは絶対に正しいとして計算します。
・私の確率伝搬:これまでの記事と同じ方法です。つながりも「たぶん正しい」くらいに弱めに信じて計算します。どれくらい信じるかは、データの2割を使って自分で合わせ、残りの8割で測ります。
テストは、論文で使われた2つです。
・WikiBio:AIが書いた人物の紹介文。1文ずつ、人が本当か嘘かを確かめた正解が付いています(嘘が多めです)。
・FactCheckGPT:いろいろな質問へのAIの答え。こちらも1つずつ人が正解を付けています。
物差しはAUROCで、0.5なら当てずっぽう、1.0なら完ぺきに嘘を見分けられたことになります。勝ち負けの決め方は、実験の前に書いて固定しました。データの分け方を変えて5回測り、平均で0.02以上の差があり、5回中4回以上上回ったときだけ「勝ち」です。
1つ目の結果:論文と同じ条件では負け
・WikiBio:AIの自信 0.73、BTProp 0.80、私の確率伝搬 0.77。5回ともBTPropが上で、BTPropの勝ちです。
・FactCheckGPT:AIの自信 0.75、BTProp 0.79、私の確率伝搬 0.80。差は0.01ほどで、同じくらいです。
まず、BTPropが自信より良くなる幅は、論文の報告と同じくらいでした。論文の結果を、公開された材料で確かめられたことになります。
私の確率伝搬も、AIの自信よりは良くしています。ただ、WikiBioではBTPropに届きませんでした。WikiBioの木には「文を小さく分ける」つながりがたくさんあり(FactCheckGPTの木にはありません)、その扱いはBTPropの作りのほうが合っていたようです。BTPropの数字の読み方の表は、WikiBioの一部で作られているので、その分の有利もあると考えています。
なお、公開されているBTPropのプログラムでは、木が作れなかった文を、すべて「本当」として扱っていました。FactCheckGPTでは48文がこれに当たります。そのままだとBTPropが不利になるので、この文だけはAIの自信を使うようにそろえて比べました。上の数字は、そろえたあとのものです。
2つ目の実験:つながりをわざと外す
論文の材料では、つながりは関係を判定するAIが自動で付けたものです。それがどのくらい正しいかは、確かめられていません。そして実際には、つながりを付ける仕組みも間違えます。話題が専門的になるほど、間違いは増えるはずです。
これまでの記事で私が確かめてきたのは、まさにこの場面でした。ルールに外れが混ざっていても、ルールそのものを疑いながら計算すれば崩れにくい、ということです。
そこで、論文の木のつながりを、くじで選んでわざと逆にしました。「片方が本当ならもう片方も本当」を「両方本当はありえない」に、またはその逆にします。逆にした割合は、0割、1割、2割、3割、5割の5段階です。BTPropも私の確率伝搬も、同じ外れた木を使います。私の方法には、どれだけ外れているかは教えていません。

2つ目の結果:BTPropは崩れ、疑う計算は崩れなかった
・BTPropは、つながりの外れが増えるほど、嘘を見つける力が下がりました。外れが2〜3割を超えると、木を使わずにAIの自信だけで判断するより悪くなりました。外れ5割では0.60〜0.65です。
・私の確率伝搬は、外れが増えても、AIの自信の近くで止まりました。大きくは崩れませんでした。
・FactCheckGPTでは外れ2割から、WikiBioでは外れ5割で、私の確率伝搬の「勝ち」でした。WikiBioの外れ3割は、5回とも上でしたが差が0.02に届かず、「同じくらい」です。
これは、実験の前に書いておいた予想どおりの形でした。
この結果が意味すること
つながりが正しいと分かっている場面では、つながりを絶対に信じるBTPropのほうが強い。つながりに外れが混ざる場面では、つながりも疑う計算のほうが崩れにくい。今回の結果は、そう読めると考えています。
私の方法が強いのは、たくさんの文を見比べて「このつながりは、ほかの手がかりと合わないから怪しい」と、正解を教えなくても割り引いて考えられるからだと考えています。その代わり、つながりが正しいときには、正しいつながりまで少し割り引いてしまうので、損をします。
前回の記事では、ルールを疑うことは保険のようなものだ、と書きました。ルールが正しいときは少し損をして、外れが多いときに大きく崩れるのを防ぐ、という意味です。今回、自分で作ったテストではなく、国際学会の論文と同じ材料でも、同じ形が見えました。
AKANE Architectureの「確かめる仕組み」は、外れの混ざった記憶やルールを持つことを前提にしています。その前提では、つながりを疑いながら照らし合わせる作りが、崩れにくさの役に立つ。今回の結果は、その手がかりの一つだと考えています。逆に、つながりが確かな所では、信じる作りのほうが良いので、両方を使い分ける形が合っているのかもしれません。
言えること、言えないこと
・私の方法がBTPropより優れている、とは言えません。論文と同じ条件では、負けか同じくらいでした。
・2つ目の実験の外れは、くじで選んでわざと逆にしたものです。本物の判定AIが自然に出す間違いとは形が違います。本物の間違いが2〜3割もあるのかどうかも、今回は調べていません。
・文を小さく分けるつながりは、外していません。
・材料はすべて論文の作者が作ったもので、木もChatGPTで作られています。WikiBioの文は、作者が「彼」などを名前に置き換えた形で公開されていなかったため、公開されている正解と、文の似かたで突き合わせました(929文中924文)。
・BTPropのプログラムには、利用の条件(ライセンス)の表示がありません。そのため、私の公開場所にはBTPropのプログラムそのものは置かず、取ってきて使う手順だけを置いています。
・つながりの当てにならなさを変えて比べる考え方は、たくさんの当てにならない手がかりから学ぶ研究(Snorkel、2017年)や、間違ったルールの数を変えて試した研究(Yang ほか、2024年)にもあります。今回は、それを言葉のAIの嘘探しで、論文と同じ材料を使って確かめた、という位置づけです。調べた範囲では同じ形のものは見当たりませんでしたが、見落としている可能性はあります。
おわりに
自分のやり方を、すでにある研究と同じ土俵で比べるのは、正直こわい作業でした。結果は、得意な場面では負け、つながりが当てにならない場面では崩れない、というものでした。勝ち負けよりも、どんな場面で役に立つのかがはっきりしたことに、意味があったと考えています。
研究は、AKANE AIの開発の合間に少しずつ進めます。
実験のコードと結果のファイルは、次の場所で公開しています(説明は日本語と英語)。https://github.com/mst-design2020/akane-e2-experiments
参考文献
Hou ほか「A Probabilistic Framework for LLM Hallucination Detection via Belief Tree Propagation」(BTProp)NAACL 2025 https://arxiv.org/abs/2406.06950
Manakul ほか「SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models」EMNLP 2023(WikiBioのテスト)https://arxiv.org/abs/2303.08896
Wang ほか「Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers」2024(FactCheckGPTのテスト)https://arxiv.org/abs/2311.09000
Ratner ほか「Snorkel: Rapid Training Data Creation with Weak Supervision」VLDB 2017 https://arxiv.org/abs/1711.10160
Yang ほか「Safe Abductive Learning in the Presence of Inaccurate Rules」AAAI 2024
著者:加藤雅也(M.S.T.デザイン代表・大分県佐伯市)https://mst-design.jp/