
小さいAIの答えを、外から確かめる(続き)――網の出番はなく、答えを書いた文を前に置くと効いた
何のための実験か
このシリーズでは、小さい言葉のAIの答えを、AIの外から確かめるしくみを作ろうとしています。使っているのは、Googleの小さな言葉のAI、Gemmaです。
前回は、辞書の説明文を使って、Gemmaの自信ある間違い(「ビーグルはスポーツの一種」に強く「はい」など)の多くを直せることを書きました。一番効いたのは、Gemmaに「この文の中で、この言葉はどの意味か」だけを選ばせて、辞書をたどるやり方でした。
今回は、その続きとして、2つのことを確かめました。
・このシリーズで最初から試してきた「網」(答えどうしをルールでつなぎ、確率伝搬で全体の筋が通るように整えるしくみ)に、出番はあるのか(E9)
・辞書で確かめるやり方は、「XはCの一種か」以外の問い(部分と全体、病気、地理)でも効くのか(E10)
先に結論
・網が役に立ちそうな場面を作って試しました。一度は網が勝ちましたが、比べる相手をもっと強いやり方にすると、勝ちは消えました。網が主役になる場面は、見つかりませんでした。
・「タイヤは車の部分か」のような部分と全体の問いでは、答えに関係する一般的な文を問いの前に置くと、Gemmaの答えが良くなりました。
・その文は、外の資料から探してきても、Gemmaに自分で書かせても、ほぼ同じだけ効きました。
・ただ、言葉の意味だけを書いた辞書の説明文は、この問いでは効きませんでした。
・最初に良く見えた結果の中には、方法を決めるときに人が選んだ物に助けられていたものがありました。決まりで選び直すと、繰り返せませんでした。
1. 網の出番を探す(E9)
これまでの実験では、網は一度も、単純なやり方にはっきり勝てませんでした。どの実験でも、すべての答えに同じだけ手がかりがあったからかもしれない、と考えました。
そこで、網が役に立ちそうな場面を作りました。辞書で確かめられるのは答えのごく一部(1〜10%)だけ、という場面です。たとえば「ビーグルは犬の一種」を辞書で確かめられれば、ルールに沿って「ビーグルは動物の一種」「ビーグルはスポーツではない」も決まるはずです。網はこのように、少しの確かめを、まわりの答えに広げることができます。
結果は、次のように変わっていきました。
・最初の試しでは、確かめが入った物の、まだ確かめていない答えで、網の間違いは、学習で答えを整えるやり方の約半分でした。ただ、この見方は結果を見てから決めたものでした。
・そこで、採点のしかたを先に決めてから、本物の辞書で確かめ直しました。それでも網が勝ちました。
・ところが、ここで、これまで比べ相手にしてきた学習のやり方(直線で区切る、単純なもの)が弱すぎたことに気づきました。同じ手がかりで、もっと強い学習のやり方(木の形で区切るもの)を相手にすると、網の勝ちは消えました。
・さらに、問題の作り方に偏りがあり、強い学習はその偏りも覚えていたことが分かりました。偏りのない、物1,681語×分類46=約7万7千の答えすべてで比べ直すと、網は強い学習にはっきり負けました。
強い学習の答えを、最後に網で整えると、少しだけ良くなりました。ただ、その差は、先に決めた基準に届きませんでした。
弱い相手に勝っても、主張にはなりません。今回いちばん大事だったのは、この点に気づけたことだと考えています。この点検で、過去に出した結果のうち、いくつかの主張も弱めて訂正しました。
2. 人が書いた言葉の一覧をやめて、流し直す
同じころ、公開しているコードを見直していて、もう1つ問題に気づきました。
前回の辞書のたどり方では、説明文の中心の言葉を取り出すときに、人が手で書いた言葉の一覧を使っていました(「one who …」なら「人」と読む、など)。英語の言い回しの一覧で、結果を見る前に決めたものですが、人が書いた一覧に結果が頼っているのは良くないと考え、一覧を一切使わないやり方で流し直しました。
網についての結論(強い学習には勝てない)は、そのまま残りました。一方、「全部の答えを辞書で確かめるのが一番」という結果は残らず、「辞書は学習に足す材料として効く」に弱めました。前回の記事にも、訂正を追記してあります。
3. ほかの問いでも効くか(E10)
次に、辞書で確かめるやり方を、3つの別の問いで試しました。
・部分と全体:「タイヤは車の部分か」
・病気の分類:「この病気は、がんの一種か」
・地理:「この市は、西ヨーロッパにあるか」
最初の試しでは、部分と全体・地理で、辞書の確かめが効いて見えました。ところが、この試しでは、全体の側の物(車、家、体など30個)を人が選んでいて、辞書のたどり方にも人が書いた一覧が残っていました。
そこで、一覧を全部なくし、全体の物も決まりで選び直して(よく使われる言葉で、部分の多い物から、くじで30個)、新しい問題で確かめました。すると、最初の良い結果は繰り返せませんでした。数えてみると、決まりで選んだ物では、部分の説明文に全体の言葉が出てくるのは、正しい組のわずか2%でした。人が選んだ車や家は、説明文に出てきやすい言葉だったのだと考えています。
これは、うまくいかなかった結果として、そのまま公開しています。
4. 問いの前に文を置く
辞書をたどるのをやめて、別のやり方を試しました。Gemmaに聞く前に、問いに関係する文を見せるやり方です。
・辞書の説明文(両方の言葉の意味)を見せる
・一般的な言い方の文を集めた資料(GenericsKB、約340万文)から、両方の言葉を含む文を5つまで探して見せる(「車には車輪がある」のような文)
・Gemmaに自分で、両方の言葉が出てくる文を書かせてから、その文を見せる
結果は、はっきり分かれました。
・一般的な文を見せると、部分と全体の問いで、Gemmaの答えがはっきり良くなりました。間違いを見分ける力の物差しで、約4割よくなりました。
・確かめのために、別の問いの文に入れ替えて見せると、逆に悪くなりました。効いていたのは、文の中身でした。
・Gemmaが自分で書いた文でも、ほぼ同じだけ効きました。小さいAIが自分で書いた文が、探してきた文と同じくらい役に立つことは、先行研究(Abdallah ほか 2025)でも報告されています。
・辞書の説明文は、効きませんでした。言葉の意味は書いてあっても、「タイヤは車の部分」という関係までは書いていないからだと考えています。
・効いたのは、よく使われる言葉だけでした。珍しい言葉では、両方を含む文がほとんど見つかりませんでした。
同じ資料を「XはCの一種か」の問いでも試しましたが、どれも、Gemmaの自信だけで判断するのと同じくらいでした。前回、辞書の説明文で直せたのは、自信ある間違いの多い難しい問いを集めた時でした。全部の答えで見ると、大きな差にはなりませんでした。
この結果が意味すること
このシリーズで最初から試してきた網には、主役になる場面が見つかりませんでした。網に残る役目は、学習の答えを最後に整える、ルールが外れていたときの保険、など小さいものです。この点は、正直に残しておきます。
効いていたのは、網の計算ではなく、次の2つでした。
・小さいAIに、得意な小さな役目(言葉の意味を選ぶ)だけをさせる
・答えに関係する文を、問いの前に置く
どちらも、先行研究に近い考え方です。ただ、どこで効いて、どこで効かないかを、人の手で選んだ物に頼らずに確かめられたことには、意味があると考えています。
言えること、言えないこと
・使ったAIは小さいもの1つ(Gemma 2の2B)、英語だけです。
・答え合わせは、2つのAI(ClaudeとGemini)に常識で判定させたもので、人の判定ではありません。
・文を前に置くと効いたのは、部分と全体の問いで、よく使われる言葉だけです。もう1つのAI(Gemini)の判定で採点すると、差は先に決めた基準に届きませんでした。
・網の作り方は1通り、強い学習のやり方も1通りしか試していません。別の作り方なら網が勝つ可能性は残ります。
・一般的な文の資料の文は、いつも正しいとは限りません(9割ほど)。
おわりに
今回は、良く見えた結果を、自分で何度も崩すことになりました。弱い相手に勝っていただけだった、人が選んだ物に助けられていた、という点に、後から気づいたからです。そのたびに、先に決めた基準で確かめ直し、崩れた所は訂正しました。
研究は、少しずつ進めます。
前回の記事:https://note.com/mst_design2020/n/nde0fb5abc0aa
技術向けの詳しい説明(Zenn):https://zenn.dev/mst_design2020/articles/804eba1639b569 / https://zenn.dev/mst_design2020/articles/50e211cbd882af
実験のコードと結果のファイルは、次の場所で公開しています(説明は日本語と英語)。https://github.com/mst-design2020/akane-e2-experiments
参考文献
Sen ほか「Collective Classification in Network Data」AI Magazine 2008 https://linqs.org/assets/resources/sen-aim08.pdf
Bilgic・Getoor「Active inference for collective classification」AAAI 2010 https://linqs.org/assets/resources/bilgic-aaai10.pdf
Huang ほか「Combining Label Propagation and Simple Models Out-performs Graph Neural Networks」ICLR 2021 https://arxiv.org/abs/2010.13993
Grinsztajn ほか「Why do tree-based models still outperform deep learning on tabular data?」NeurIPS 2022 https://arxiv.org/abs/2207.08815
Bhakthavatsalam・Anastasiades・Clark「GenericsKB: A Knowledge Base of Generic Statements」2020 https://arxiv.org/abs/2005.00660
Yu ほか「Generate rather than Retrieve: Large Language Models are Strong Context Generators」ICLR 2023 https://arxiv.org/abs/2209.10063
Abdallah ほか 2025(小さいAIが自分で書いた文と、探してきた文の比べ)https://arxiv.org/abs/2502.20245
Mallen ほか「When Not to Trust Language Models」ACL 2023 https://arxiv.org/abs/2212.10511
Wiktionary(英語版、2026年11月10日のデータ)https://en.wiktionary.org/
Gemma Team「Gemma 2: Improving Open Language Models at a Practical Size」2024 https://arxiv.org/abs/2408.00118
著者:加藤雅也(M.S.T.デザイン代表・大分県佐伯市)https://mst-design.jp/