
資料を見せたら、AIは「分からない」と言えるか――資料をつなぐ計算は、単純なやり方に勝てなかった
前回までの実験では、AIの答えを、AI自身の自信と、答えどうしのつながりだけで確かめていました。AIの外にある資料は使っていませんでした。
AKANE Architectureの「確かめる仕組み」は、本来、外の記憶や資料に照らして答えを確かめるものです。そこで今回は、AIに資料を見せたうえで、資料が足りないときや食い違うときに「分かりません」と言えるか、を調べました。
先に言うと、資料を使うと「資料が足りない」ことに気づきやすくなる、という手ごたえはありました。ただ、資料どうしを網のようにつないで確率で計算するやり方は、もっと単純なやり方に勝てませんでした。
なぜ「分からない」が大事か
AIの困った所は、間違えることそのものより、間違っているときも自信ありげに答えることだと考えています。自信のない所では答えずに「分かりません」と言えれば、答えた分の正しさは上がります。
そこで今回は、「全部に答えたときの正しさ」ではなく、「自信のある順に答えて、自信のない所は答えない」としたとき、答えた分がどれだけ正しいかで比べました。答える割合を100%・90%・70%・50%と減らしていき、正しさがどれだけ上がるかを見ます。
今回やったこと
材料は、HoVerという公開のテストです。1つの主張が、2〜4本のWikipediaの記事にまたがっています。たとえば「映画Xの監督は、Yと同じ町の生まれだ」のように、記事を渡り歩かないと確かめられない主張です。正解は「資料が支える」か「資料が反する」かで、資料も付いています。使ったのは3,952件です(下準備の試しで中身を見た48件は除きました)。
使ったAIは、どれも手元のパソコンでも動く大きさのものです。
・小さな言葉のAI(GoogleのGemma-2 2B):資料と主張を見て、正しいか正しくないかと、その自信を出す。
・少し大きな言葉のAI(同じくGemma-2 9B):主張を小さな部分に分け、名前の書かれていない人や物(「映画Xの監督」など)の候補を資料から探す。
・文どうしの関係を判定する専用のAI:資料の段落ごとに、主張や部分の主張を「支える/反する/どちらとも言えない」と判定する。
比べた方法は次のとおりです。
・AIの自信:Gemma-2 2Bの自信の順に答える。
・矛盾を数える:資料の文で、支えるものと反するものを数える。
・特徴を足す:判定AIの数字(一番強い支え、一番強い反対など11個)を並べて、どれをどのくらい重く見るかを、学習で決める。
・資料の重みを合わせる計算(デンプスター・シェーファー):「分からない」の分を残しながら資料を合わせる。
・決まった論理:部分の主張が全部○なら「支える」。
・網なしの簡単な式:部分の主張のうち、一番怪しいものの確からしさを使う。
・網:名前の候補・部分の主張・元の主張をつなぎ、確率で計算する(これまでの記事で使ってきた確率伝搬の考え方)。
比べ方と勝ち負けの決め方は、実験の前に書いて固定しました。データを5つに分けて5回測り、差が0.02以上で、5回中4回以上上回ったときだけ「勝ち」としました。
結果:一番良かったのは、網ではなかった
答える割合を半分にしたとき、答えた分の正しさは次のとおりでした。
・特徴を足す:82.5%
・網:78.0%
・AIの自信:76.9%
・網なしの簡単な式:76.2%
・資料の重みを合わせる計算:73.5%
・決まった論理:71.2%
・矛盾を数える:66.4%
答える割合をいろいろ変えたときの全体の成績で、先に決めた基準に当てはめると、網は「網なしの簡単な式」「資料の重みを合わせる計算」「矛盾を数える」には、5回とも勝ちました。けれど、AIの自信とは同じくらい、特徴を足すやり方には5回とも負けました。
記事を3本、4本とまたぐ難しい主張ほど網の差が広がる、と予想していましたが、そうはなりませんでした。難しい主張では、網はAIの自信より少し下でした。
資料を1本抜いてみた
もう一つ、確かめたことがあります。「資料が支える」主張から、資料の段落を1つくじで抜きました。本当なら、もう答えられなくなる場面です。
すると、Gemmaは「正しい」と答える割合が75%から41%に変わりました。答えはこれだけ変わったのに、自信の大きさは、抜く前とほとんど同じでした。資料が欠けたことに気づかず、自信を持ったまま答えを変えていた、ということになります。
一方、資料の判定を使う方法は、抜くと自信が下がりました。網では下がり方は小さく、網なしの簡単な式のほうがはっきり下がりました。
この結果が意味すること
資料を使うと、AIの自信だけでは気づけない「資料が足りない」場面に、少し気づけるようになる。ここは手ごたえがありました。
一方で、資料を網でつなぐ意味は、今回は見えませんでした。勝ったのは、判定AIの数字を並べて重みを学ぶだけの、単純なやり方でした。前回までのルールの網の実験でも、似た形で、凝った計算が単純な計算に勝てませんでした。
先行研究とも、ある程度そろっています。資料の文ごとに支える・反するを判定し、食い違えば控えるやり方は、AIの自信に勝てなかった、という報告がありました(Pandian 2026)。今回も「矛盾を数える」は一番下でした。判定の数字を並べて学ぶやり方(SURE-RAGの形)は、今回一番でした。資料を網でつないで控える方法を、これらと同じ物差しで並べた例は見当たらなかったので、そこを確かめた、という位置づけです。
言えること、言えないこと
・資料を網でつなぐ私のやり方が、ほかより良いとは言えません。
・今回動かした網には、計画で入れるつもりだった「資料の文どうしの食い違い」のつながりが入っていませんでした。そのため網は輪のない小さな形で、ほとんど掛け算に近い計算でした。輪のある網なら違う結果になるかは、確かめていません。
・特徴を足すやり方は学習を使い、網は調整する数がありません。学習とテストは分けていますが、条件は同じではありません。
・テストは英語の1つだけ(HoVer、正解の資料付き)で、AIも小さいものだけです。
・資料を1本抜く確かめでは、主張の分け方と名前の候補は、抜く前の資料で作ったものをそのまま使いました。資料の判定を使う方法に少し有利です。
おわりに
資料を見せれば「分からない」と言える、という所までは、少し近づけたと考えています。けれど、そのために網でつなぐ必要があるかというと、今回は答えが「いいえ」寄りでした。
ここまでの実験の網は、どれも小さく、輪のほとんどない形でした。輪のない網では、確率伝搬は簡単な掛け算とほとんど同じになります。網の考え方が本当に効くとすれば、たくさんの知識が輪になってつながる、大きな記憶の網の場面だと考えています。そして、そういう網こそ、計算が難しくなり、p-bitのような部品に任せたくなる場面です。次は、輪の多い大きな網で、確率伝搬とp-bitの方式に差が出るかを調べる予定です。
研究は、AKANE AIの開発の合間に少しずつ進めます。
前回の記事:https://note.com/mst_design2020/n/n1af3e4380f0c
実験のコードと結果のファイルは、次の場所で公開しています(説明は日本語と英語)。https://github.com/mst-design2020/akane-e2-experiments
参考文献
Jiang ほか「HoVer: A Dataset for Many-Hop Fact Extraction And Claim Verification」Findings of EMNLP 2020 https://arxiv.org/abs/2011.03088
Pan ほか「Fact-Checking Complex Claims with Program-Guided Reasoning」(ProgramFC)ACL 2023 https://arxiv.org/abs/2305.12744
Jeon・Lee「GraphCheck」2025 https://arxiv.org/abs/2502.20785
Pandian 2026(Research Square 予稿 rs-11110025)
Qiu ほか「SURE-RAG」2026 https://arxiv.org/abs/2605.03534
Hossain ほか「EvidentialRAG」2026 https://arxiv.org/abs/2607.10491
Joren ほか「Sufficient Context: A New Lens on Retrieval Augmented Generation Systems」ICLR 2025 https://arxiv.org/abs/2411.06037
Gemma Team「Gemma 2: Improving Open Language Models at a Practical Size」2024 https://arxiv.org/abs/2408.00118
著者:加藤雅也(M.S.T.デザイン代表・大分県佐伯市)https://mst-design.jp/