メインコンテンツへスキップ
見出し画像

小さいAIには、意味を選ぶ役だけ――辞書をたどる確かめ方に「TADORI」と名前をつけました

    何のための実験か

    このシリーズでは、小さい言葉のAIの答えを、AIの外から確かめるしくみを作ろうとしています。使っているのは、Googleの小さな言葉のAI、Gemmaです。

    一番効いてきたのは、辞書の説明文をたどるやり方です。たとえば「子猫は哺乳類の一種か」なら、「子猫 → 猫 → 哺乳類」と辞書を引いていきます。途中の言葉がどの意味か(「cat」なら動物の猫か、意地の悪い人か)をGemmaに選ばせると、取り違えが大きく減りました。

    前回の最後に、「辞書をたどっても答えに着かない問題の多くは、最後の一歩で落ちている」と書きました。たとえば「人」や「猫」まではたどれているのに、「猫は哺乳類か」という最後の判定で「いいえ」になってしまう、というものです。

    今回は、その最後の一歩を直せるかを確かめました。そして、ここまでの実験で最後まで残った確かめ方に、名前をつけました。

    先に結論

    • 最後の一歩の判定をGemmaに任せると、かえって悪くなりました。たどってきた辞書の説明文を全部見せても、関係のない説明文を見せた時と変わりませんでした。

    • 辞書をたどるやり方の工夫は、ここで区切ります。深くたどる、外の文で穴を埋める、最後の一歩をGemmaに任せる、のどれも効きませんでした。

    • 最後まで残った形は、「辞書の説明文をたどり、途中の言葉の意味だけを小さいAIに選ばせ、判定は外の判定役に任せる」というものです。これを「TADORI(たどり)」と呼ぶことにしました。

    1. 最後の一歩を、Gemmaに判定させる

    これまで、最後の一歩(「猫は哺乳類の一種か」)は、文と文の関係を判定する専用の小さなAI(NLI)に任せていました。ところが、猫の説明文に「哺乳類」という言葉が書いていないと、この判定役は「言えない」と答えがちです。

    一方で、大きめのAIに「根っこからの道筋」を見せると分類の判定が良くなる、という報告があります。そこで、「子猫 → 猫」とたどってきた説明文を全部Gemmaに見せて、「子猫は哺乳類の一種か」を聞いてみました。

    比べるために、次の聞き方も用意しました。

    • 最後の説明文だけ見せる

    • 関係のない別の問題の説明文を、同じ長さだけ見せる

    • 説明文を何も見せない

    最後の「関係のない説明文」は、Gemmaが説明文を読まずに、自分の知識だけで答えていないかを見るためです。

    結果は、今のやり方(判定役に任せる)が一番良く、Gemmaに任せると間違いがはっきり増えました。説明文を全部見せると、何も見せないよりはずっと良くなりました。ただ、関係のない説明文を見せた時と同じくらいで、「説明文を読んで答えている」とは言えませんでした。

    もう1つ、説明文のどの言葉を次にたどるかをGemmaに選ばせる工夫も試しましたが、今のやり方と変わりませんでした。

    結果を見る前に決めておいた4つの基準は、どれも満たしませんでした。最後の一歩の判定は、小さいGemmaより、判定専用の小さなAIの方が向いている、という結果です。

    2. 残った確かめ方に、名前をつけた

    ここまで、ルールでつないだ網、物理の部品(p-bit)で動かす方式、辞書を深くたどる、外の文で穴を埋める、とさまざまな工夫を試してきました。そのほとんどは、同じくらいか、悪くなりました。

    最後まで残ったのは、次の形です。

    • 辞書の説明文を、言葉から言葉へたどる

    • 途中の言葉が「どの意味で使われているか」だけを、小さいAIに選ばせる

    • 一歩ごとの確かさと、目的の分類に着いたかは、外の判定役が決める

    • 小さいAI自身には、「XはCの一種か」を判定させない

    この形を「TADORI(たどり)」と呼ぶことにしました。英語の Tracing Along Definitions, Opting for the Right Interpretation(説明文をたどり、正しい意味を選ぶ)の頭文字で、日本語の「たどり」とも読めるようにしました。

    画像
    図 TADORIの流れ。灰色が辞書、青が小さいAIの受け持ち(意味を選ぶだけ)、緑が外の判定役

    辞書の説明文をたどる考えは40年ほど前から、AIに言葉の意味を選ばせることも前からあります。新しいのは、その組み合わせ方と、小さいAIに「判定」ではなく「意味選び」だけをさせる役割の分け方です。調べた範囲では、同じ形は見つかりませんでした(見落としの可能性はあります)。

    3. 何が確かめられて、何がまだか

    確かめられたことは、次のとおりです。

    • 小さいAIは、意味を選ぶのが得意です。辞書をたどる途中の取り違えは、意味を選ばない時の約7割から約1割に減りました。

    • 意味選びは、たくさんの問題でも保てました。人が意味を書き込んだ3万4千問で、約8割当たりました(前回の記事)。

    • 小さいAIの答えを確かめる役に立ちます。新しい300問で、AIの自信だけで判断するより、はっきり間違いを見つけやすくなりました。

    • ほかの手がかりと一緒に学ばせると、さらに良くなりました。

    まだ言えないことも、はっきりさせておきます。

    • 辞書を1段だけ見て確かめるやり方より良い、とはまだ言えません。TADORIの強みは「取り違えが減ること」と「学ばせる材料として効くこと」です。

    • 約8割という数字は「意味を選ぶ正しさ」で、TADORI全体の答えの正しさではありません。

    4. これから

    辞書をたどるやり方の工夫は、ここで区切ります。

    網(確率伝搬)とp-bitは、答えの正しさを上げる役にはなりませんでした。そこで次は、物差しを変えます。「小さいAIと同じ答えを、どれだけ速く、少ない電力で出せるか」という見方で、p-bitの使い道を考えるつもりです。

    言えること、言えないこと

    • 使ったAIは小さいもの1つ(Gemma 2の2B)、英語だけです。もっと大きいAIなら、最後の一歩も任せられるかもしれません。

    • 答え合わせの多くは、2つのAI(ClaudeとGemini)に常識で判定させたもので、人の判定ではありません。

    • 問いは主に「XはYの一種か」です。ほかの種類の問い、ほかの辞書、ほかの言葉では、まだ試していません。

    おわりに

    たくさん試して、ほとんどが空振りでした。それでも、空振りを1つずつ確かめたことで、「小さいAIに何を任せ、何を任せないか」がはっきりしてきました。残った形に名前がついたので、ここで一度区切ります。

    研究は、少しずつ進めます。

    前回の記事:https://note.com/mst_design2020/n/nd15d73345722

    実験のコードと結果のファイルは、次の場所で公開しています(説明は日本語と英語。TADORIのまとめもあります)。https://github.com/mst-design2020/akane-e2-experiments

    数式つきの詳しい説明は、Zennに書きました。https://zenn.dev/mst_design2020/articles/fc03d9c1a5763b

    参考文献

    • Chodorow・Byrd・Heidorn「Extracting Semantic Hierarchies from a Large On-Line Dictionary」ACL 1985

    • Véronis・Ide「An Assessment of Semantic Information Automatically Extracted from Machine Readable Dictionaries」EACL 1991

    • Meconi ほか「Do Large Language Models Understand Word Senses?」EMNLP 2025 https://arxiv.org/abs/2509.13905

    • Glockner・Shwartz・Goldberg「Breaking NLI Systems with Sentences that Require Simple Lexical Inferences」ACL 2018 https://arxiv.org/abs/1805.02266

    • Mishra ほか(LORex)2025 https://arxiv.org/abs/2505.13282

    • Hou ほか「A Probabilistic Framework for LLM Hallucination Detection via Belief Tree Propagation」NAACL 2025 https://arxiv.org/abs/2406.06950

     
     
    エネルギーベースモデルのAI研究「AKANEアーキテクチャ」の提唱者・個人研究者。大分県佐伯市でM.S.T.デザイン代表(Web制作・映像・写真・デザイン)。研究のまとめ https://mst-design.jp/research/

    あなたへのおすすめ