
小さいAIの答えを、外から確かめる(続き)――1つの工夫を強くするより、手がかりを全部まとめる方が効いた
何のための実験か
このシリーズでは、小さい言葉のAIの答えを、AIの外から確かめるしくみを作ろうとしています。使っているのは、Googleの小さな言葉のAI、Gemmaです。
これまでで一番効いたのは、辞書の説明文をたどるやり方でした。たとえば「孫娘は哺乳類の一種か」なら、「孫娘 → 人 → 哺乳類」と辞書を引いていきます。そのとき、途中の言葉がどの意味か(「bank」なら銀行か土手か)を、Gemmaに選ばせると、取り違えが大きく減りました。
ただ、このやり方にも弱い所が残っていました。今回は、その弱い所を3つの方向から直そうとしました。
・最初の言葉そのものの意味を、Gemmaに選ばせる
・辞書をもっと深くたどる、たどった結果から「言葉の地図」を学ばせて、たどれなかった所を埋める
・手元にある手がかりを、全部まとめて1つの判断に使う
先に結論
・最初の言葉の普段の意味を、Gemmaはかなり当てられました。ただ、そこに絞ってたどると、防げる間違いより、壊してしまう正しい答えの方が多くなりました。
・辞書を深くたどっても、言葉の地図で埋めても、それだけでは良くなりませんでした。
・効いたのは、手がかりを全部並べて、どれをどれだけ信じるかを学ばせるやり方でした。「一種か」「部分と全体」「病気」の3種類の問いで、間違いが減りました。「地理」では変わりませんでした。
・1つ1つの部品は、どれも新しいものではありません。分かったのは、小さいAIでも、手元の手がかりを組み合わせるとどれだけ良くなるか、です。
1. 最初の言葉の意味を選ばせる
これまでの辞書のたどり方では、最初の言葉(「ビーグルは動物の一種か」のビーグル)については、意味を選ばずに、全部の意味からたどっていました。間違いを数えてみると、その多くが、この最初の一歩で起きていました。たとえば、珍しい意味の説明文から、たまたま答えに着いてしまうような間違いです。
そこで、まずGemmaに「この言葉の意味のうち、普段一番よく使うのはどれか」を選ばせてみました。人が意味を書き込んだ文の集まり(SemCor)で、一番多く使われていた意味を正解にして、2,000語で確かめました。
Gemmaは約6割で当てました。言葉と説明文の近さで選ぶやり方は約5割、でたらめは約3割です。小さいAIでも、普段の意味はかなり分かっているようです。
ところが、最初の一歩をその意味に絞って辞書をたどると、全体としては良くなりませんでした。間違った「はい」は半分以下に減りましたが、そのぶん、正しい答えに「いいえ」と言ってしまう数が増えました。新しく用意した300問では、かえって悪くなりました。
2. 辞書を深くたどる、言葉の地図で埋める
正しいのに、辞書をたどっても答えに着かない問いもありました。「動物学者は生き物か」「孫娘は哺乳類か」のように、たどる段が足りない物です。
1つ目の案は、辞書を3段から6段まで深くたどることです。ところが、深くして新しく「はい」になった道は、ほとんどが「人 → 個人 → 人間 → ヒト科 → 類人猿(=動物)」という同じ1本でした。全体の結果は変わりませんでした。
2つ目の案は、辞書をたどった結果から、言葉どうしの関係を「箱」の入れ子の形で覚えさせることです(箱の形のベクトル、と呼ばれるやり方です)。「犬」の箱が「動物」の箱の中に入っていれば、「犬は動物の一種」と読めます。たどれなかった組も、箱の重なりから答えられるはずでした。ただ、この箱だけで答えさせると、辞書をたどるより悪い結果になりました。
3. 手がかりを全部まとめる
最後に、手元にある手がかりを全部並べて、1つの判断に使ってみました。
・Gemma自身の答えと、その自信
・辞書をたどった結果(浅い鎖も、深い鎖も)
・箱の重なり
・最初の意味の選び方
どの手がかりをどれだけ信じるかは、正解の付いた問題から、学習で決めさせました。
すると、Gemmaの答えと辞書だけを使うより、間違いがはっきり減りました(図の左)。新しい300問でも良くなりましたが、こちらは先に決めた基準のぎりぎりでした。
面白かったのは、それだけでは悪かった箱が、まとめたときには一番役に立っていたことです。1人では頼りなくても、ほかの手がかりと組み合わせると役に立つ、ということだと考えています。
4. ほかの問いでも効くか
同じまとめ方が、ほかの種類の問いでも効くかを確かめました。前回までに取ってあった手がかり(辞書の鎖、問いの前に見せた一般的な文、Gemmaが自分で書いた文など)を使いました。
・一種か(「ビーグルは動物の一種か」)
・部分と全体(「タイヤは車の部分か」)
・病気の分類(「この病気は、がんの一種か」)
・地理(「この市は、西ヨーロッパにあるか」)
結果を見る前に、「一種か」と「部分と全体」の両方で良くなれば「繰り返せた」とする、と決めておきました。
結果は、「一種か」「部分と全体」「病気」で、Gemmaの答えだけを使う学習より、間違いが減りました(図の右)。決めておいた基準では、繰り返せたことになります。「地理」では変わりませんでした。
ただ、気をつける点もあります。
・「部分と全体」で良くなったのは、ほとんどが前回の「問いの前に一般的な文を見せる」手がかりのおかげでした。
・箱は、「一種か」以外の問いでは、ほとんど何も足しませんでした。
・答え合わせをもう1つのAIの判定に替えると、「部分と全体」と「病気」の差は、基準に届きませんでした。

この結果が意味すること
今回は、1つの工夫を強くする案(最初の意味を選ぶ、深くたどる、箱で埋める)は、どれも単独では効きませんでした。効いたのは、手がかりを全部並べて、どれを信じるかを学ばせることでした。
これは、機械学習ではよく知られた考え方です。いくつもの「自信」の点数を、少しの正解で学習してまとめると、一番良い1つより良くなることは、先行研究(Chauhan ほか 2026)でも多くの条件で示されています。今回は、それが小さいAIの答えの確かめでも、4種類の問いのうち3つで見られた、ということです。新しい発見というより、これまでの手がかりの整理と、次に何を伸ばすべきかの地図ができた、と考えています。
その地図で、芯になっていたのは、辞書をたどる途中で「言葉の意味をGemmaに選ばせる」部分でした。次は、この意味選びがどれだけ確かなのかを、もっと多くの問題で測りたいと考えています。
言えること、言えないこと
・使ったAIは小さいもの1つ(Gemma 2の2B)、英語だけです。
・答え合わせは、2つのAI(ClaudeとGemini)に常識で判定させたもので、人の判定ではありません。もう1つのAI(Gemini)の判定では、「部分と全体」「病気」の差は基準に届きませんでした。
・手がかりをまとめる学習には、正解の付いた問題が必要です。正解がまったくない場面では使えません。
・「地理」で効く、箱が必要、とは言えません。
・「一種か」はもともと間違いが少なく、実際の使い道でどれだけ役立つかは分かりません。
おわりに
今回は、1つずつの工夫が次々に空振りし、最後にまとめたものだけが残りました。地味な結果ですが、何が効いて何が効かないかを、先に決めた基準で確かめられたことには、意味があると考えています。
研究は、少しずつ進めます。
前回の記事:https://note.com/mst_design2020/n/ndb76756d6b3e
実験のコードと結果のファイルは、次の場所で公開しています(説明は日本語と英語)。https://github.com/mst-design2020/akane-e2-experiments
参考文献
Meconi ほか「Do Large Language Models Understand Word Senses?」EMNLP 2025 https://arxiv.org/abs/2509.13905
Miller ほか「A Semantic Concordance」(SemCor)HLT 1993
Rigau・Rodríguez・Agirre「Building Accurate Semantic Taxonomies from Monolingual MRDs」1998 https://arxiv.org/abs/cmp-lg/9806015
Vilnis ほか「Probabilistic Embedding of Knowledge Graphs with Box Lattice Measures」ACL 2018 https://arxiv.org/abs/1805.06627
Li ほか「Smoothing the Geometry of Probabilistic Box Embeddings」ICLR 2019 https://openreview.net/forum?id=H1xSNiRcF7
Chauhan ほか「When Do Supervised UQ Ensembles Improve LLM Hallucination Detection?」2026 https://arxiv.org/abs/2608.24492
Wiktionary(英語版、2026年11月10日のデータ)https://en.wiktionary.org/
Gemma Team「Gemma 2: Improving Open Language Models at a Practical Size」2024 https://arxiv.org/abs/2408.00118
著者:加藤雅也(M.S.T.デザイン代表・大分県佐伯市)https://mst-design.jp/