
小さいAIの答えを、外から確かめる(続き)――意味選びは3万問でも約8割、網と「行き止まりの穴埋め」は効かなかった
何のための実験か
このシリーズでは、小さい言葉のAIの答えを、AIの外から確かめるしくみを作ろうとしています。使っているのは、Googleの小さな言葉のAI、Gemmaです。
これまでで一番効いたのは、辞書の説明文をたどるやり方でした。たとえば「孫娘は哺乳類の一種か」なら、「孫娘 → 人 → 哺乳類」と辞書を引いていきます。そのとき、途中の言葉がどの意味か(「bank」なら銀行か土手か)をGemmaに選ばせると、取り違えが大きく減りました。前回は、手元の手がかりを全部まとめて学ばせると、さらに良くなることを書きました。
今回は、そこで残っていた3つの問いを確かめました。
Gemmaの「意味を選ぶ力」は、本当に確かなのか。これまでは37問でしか測っていませんでした。
正解がまったくない時なら、ルールでつないだ網(確率伝搬)に出番があるのか。
辞書をたどっても答えに着かない「行き止まり」を、外の文で埋められるか。
先に結論
Gemmaの意味選びは、人が意味を書き込んだ3万4千問でも、約8割当たりました。辞書の最初の意味を選ぶやり方(約6割)や、文の近さで選ぶやり方(約7割)より上です。言葉の名前を隠しても変わらず、辞書を丸暗記していただけではない、と考えています。
正解がまったくない時も、網でまとめるやり方は、手がかりを素直に平均するやり方に勝てませんでした。先に決めておいたとおり、この研究の形では「網の役目は終わり」としました。
辞書の行き止まりは、外の文で埋められました。ただ、一般的な文は雑音が多く、直した分より多くの間違いを足してしまいました。Wikipediaはきれいですが、埋まる数が少なすぎました。

1. 意味選びを、3万4千問で測り直す
これまでの一番の発見は、「途中の言葉の意味をGemmaに選ばせると、取り違えが減る」でした。ただ、それを確かめたのは37問だけで、37問中35問が当たりという数字は、たまたま高かった可能性がありました。
そこで、もっと多くの問題で測り直しました。使ったのは、WordNetという英語の辞書の説明文に、人が一語一語「この言葉はこの意味」と書き込んだデータです。説明文の中心の言葉(たとえば「犬:家で飼われる動物」の「動物」)がどの意味かを当てる問題を、3万4千問作りました。
結果は次のとおりです。
Gemma:約81%
文の近さで選ぶ:約68%
辞書の最初の意味を選ぶ:約61%
説明文の重なりで選ぶ昔からのやり方:約36%
37問での95%は高すぎで、たくさんの問題では約8割でした。それでも、ほかのやり方にははっきり勝っています。正解が辞書の最初の意味ではない、難しい問題だけを見ても75%でした。
2. 覚えていただけではないか
気になったのは、Gemmaが辞書そのものを覚えていて、答えを思い出しているだけではないか、という点です。WordNetは、AIの学習に使われていてもおかしくない、よく知られた辞書です。
そこで、3つのやり方で確かめました。
どの言葉の説明文かという名前を隠す → ほとんど変わらない(81%)
名前を隠したうえで、説明文と候補を別のAIで言い換える → 69%に下がるが、辞書の最初の意味(59%)よりは上
説明文の前半を見せて、後半を言わせる → よく覚えている問題でも、ほとんど覚えていない問題でも、当たる割合はほぼ同じ
先に決めておいた2つの基準が両方成り立ったので、「覚えているだけではない」と考えています。ただ、言い換えが荒かったので、言い換えで下がった分のうち、どこまでが覚えていた分なのかは分けられていません。
また、Gemmaの外れの多くは、近い意味の取り違えではありませんでした。自信が低い時だけ別のやり方に切り替える工夫も、効きませんでした。
3. 正解がまったくない時、網でまとめるか
このシリーズは、もともと「AIの答えどうしをルールでつないだ網で、間違いを見つける」ところから始まりました。ところが、正解の付いた問題が少しでもある場面では、網は、正解から学ぶやり方にずっと負けてきました。
まだ試していなかったのは、正解がまったくない場面です。前回までに、1つの問いについて5種類の手がかり(何も見せずに聞く、辞書を見せて聞く、一般的な文を見せて聞く、自分で書いた文を見せて聞く、別の判定役)が集まっていたので、新しくAIを動かさずに比べられました。
まとめ方は、素直に平均する、多数決、手がかりごとの信頼度を推し量る昔からのやり方(Dawid–Skene)、それにルールを入れた網です。
結果は、素直に平均するのが一番でした。どの手がかり1つよりも良くなりました。網は平均と同じくらいで、少し悪い向きでした。信頼度を推し量るやり方は、「部分と全体」の問いではっきり悪くなりました。5つの手がかりが、みな同じ小さいAIから出ているので、間違い方が似ていて、推し量りがうまく働かなかったのだと考えています。
結果を見る前に、「網が平均と多数決の両方に勝てば、網に出番がある。勝てなければ、網の役目は終わり」と決めていました。決めたとおり、この研究の形では網の役目は終わりとしました。網を物理の部品(p-bit)で動かす方式に替えても、答えの正しさは同じくらいでした。
4. 辞書の行き止まりを、外の文で埋める
辞書をたどるやり方で、正しいのに「いいえ」と言ってしまう問題を数えると、多くは「人」や「動物」から「生き物」「哺乳類」に着けないものでした。辞書をたどっていくと、どこかで輪になって先に進めなくなる「行き止まり」があるためです。前回、辞書を深くたどっても効かなかったのは、このためでした。
そこで、辞書の外の文を継ぎ足して、行き止まりの先へ進めるかを試しました。
一般的な文を集めたデータ(GenericsKB)と、Gemmaが自分で書いた文
Wikipediaの記事の最初の文、記事の冒頭の段落
一般的な文を足すと、行き止まりの約8割が埋まり、正しい答えに着けるようになりました。ところが、雑音も多く、間違った「はい」がそれ以上に増えて、全体では悪くなりました。たとえば「Safety」という名前の農薬の文から「安全は植物の一種」とたどったり、スポーツ記事の文から「孫娘は勝利の一種」と読んでしまったりしました。判定をGemmaに替えても、悪いままでした。
Wikipediaはきれいで、間違いはほとんど増えませんでした。ただ、普通の名詞の多くには記事がなく、埋まったのは約4分の1だけで、全体は変わりませんでした。
最後まで埋まらなかった問題を見ると、多くは「人」や「哺乳類」までは着いているのに、最後の一歩、「哺乳類は生き物か」の判定で落ちていました。足りないのは外の文の量ではなく、最後の一歩の判定でした。次の実験では、この最後の一歩の判定役を替えてみました。その結果は、次の記事で書きます。
この結果が意味すること
今回で、このシリーズの地図がかなりはっきりしました。
小さいAIには、「言葉の意味を選ぶ」のような狭い役目だけをさせると、たくさんの問題でも働きます。
1つのしくみを強くする工夫(深くたどる、穴を埋める、網でまとめる)は、どれも単独では効きませんでした。
効いたのは、手元の手がかりを全部並べて、どれを信じるかを学ばせることでした(前回)。正解がない時は、素直な平均が一番でした(今回)。
網(確率伝搬)とp-bitは、最初に考えていたような「正しさを上げる主役」にはなりませんでした。p-bitの役目は、正しさではなく、速さや電力の側にあると考えています。ただ、それはこの実験からは何も言えません。
言えること、言えないこと
使ったAIは小さいもの1つ(Gemma 2の2B)、英語だけです。
答え合わせの多くは、2つのAI(ClaudeとGemini)に常識で判定させたもので、人の判定ではありません。意味選び(1と2)だけは、人が書き込んだ正解です。
意味選びは、WordNetという辞書で測りました。これまでの実験で使ってきた別の辞書(Wiktionary)でも同じになるかは、分かりません。覚えている分がまったくない、とも言えません。
網の比べで使った5つの手がかりは、どれも同じ小さいAIから出たものです。
行き止まりの穴埋めは、前に使ったのと同じ問題で試しました。4通り試して、どれも変わらないか悪くなりました。
おわりに
今回も、工夫の多くが空振りでした。ただ、空振りの理由(行き止まり、最後の一歩)が数えて分かったことで、次に何を確かめればよいかが絞れてきました。
研究は、少しずつ進めます。
前回の記事:https://note.com/mst_design2020/n/n8ca2afb0ac35
実験のコードと結果のファイルは、次の場所で公開しています(説明は日本語と英語)。https://github.com/mst-design2020/akane-e2-experiments
数式つきの詳しい説明は、Zennに書きました。https://zenn.dev/mst_design2020/articles/8ac3114ae8cf58
参考文献
Meconi ほか「Do Large Language Models Understand Word Senses?」EMNLP 2025 https://arxiv.org/abs/2509.13905
Litkowski「Senseval-3 task: Word-Sense Disambiguation of WordNet Glosses」Senseval-3 2004
Golchin・Surdeanu「Time Travel in LLMs: Tracing Data Contamination in Large Language Models」2023 https://arxiv.org/abs/2308.08493
Dawid・Skene「Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm」Applied Statistics 1979
Berti-Equille 2026 https://arxiv.org/abs/2611.04805
Véronis・Ide「An Assessment of Semantic Information Automatically Extracted from Machine Readable Dictionaries」EACL 1991
Bhakthavatsalam ほか「GenericsKB: A Knowledge Base of Generic Statements」2020 https://arxiv.org/abs/2005.00660
Princeton WordNet 3.0 Gloss Corpus https://wordnet.princeton.edu/
Gemma Team「Gemma 2: Improving Open Language Models at a Practical Size」2024 https://arxiv.org/abs/2408.00118
著者:加藤雅也(M.S.T.デザイン代表・大分県佐伯市)https://mst-design.jp/