メインコンテンツへスキップ
見出し画像

小さいAIの答えを、外から確かめる(続き)――1つの工夫を強くするより、手がかりを全部まとめる方が効いた

    何のための実験か

    このシリーズでは、小さい言葉のAIの答えを、AIの外から確かめるしくみを作ろうとしています。使っているのは、Googleの小さな言葉のAI、Gemmaです。

    これまでで一番効いたのは、辞書の説明文をたどるやり方でした。たとえば「孫娘は哺乳類の一種か」なら、「孫娘 → 人 → 哺乳類」と辞書を引いていきます。そのとき、途中の言葉がどの意味か(「bank」なら銀行か土手か)を、Gemmaに選ばせると、取り違えが大きく減りました。

    ただ、このやり方にも弱い所が残っていました。今回は、その弱い所を3つの方向から直そうとしました。

    ・最初の言葉そのものの意味を、Gemmaに選ばせる

    ・辞書をもっと深くたどる、たどった結果から「言葉の地図」を学ばせて、たどれなかった所を埋める

    ・手元にある手がかりを、全部まとめて1つの判断に使う

    先に結論

    ・最初の言葉の普段の意味を、Gemmaはかなり当てられました。ただ、そこに絞ってたどると、防げる間違いより、壊してしまう正しい答えの方が多くなりました。

    ・辞書を深くたどっても、言葉の地図で埋めても、それだけでは良くなりませんでした。

    ・効いたのは、手がかりを全部並べて、どれをどれだけ信じるかを学ばせるやり方でした。「一種か」「部分と全体」「病気」の3種類の問いで、間違いが減りました。「地理」では変わりませんでした。

    ・1つ1つの部品は、どれも新しいものではありません。分かったのは、小さいAIでも、手元の手がかりを組み合わせるとどれだけ良くなるか、です。

    1. 最初の言葉の意味を選ばせる

    これまでの辞書のたどり方では、最初の言葉(「ビーグルは動物の一種か」のビーグル)については、意味を選ばずに、全部の意味からたどっていました。間違いを数えてみると、その多くが、この最初の一歩で起きていました。たとえば、珍しい意味の説明文から、たまたま答えに着いてしまうような間違いです。

    そこで、まずGemmaに「この言葉の意味のうち、普段一番よく使うのはどれか」を選ばせてみました。人が意味を書き込んだ文の集まり(SemCor)で、一番多く使われていた意味を正解にして、2,000語で確かめました。

    Gemmaは約6割で当てました。言葉と説明文の近さで選ぶやり方は約5割、でたらめは約3割です。小さいAIでも、普段の意味はかなり分かっているようです。

    ところが、最初の一歩をその意味に絞って辞書をたどると、全体としては良くなりませんでした。間違った「はい」は半分以下に減りましたが、そのぶん、正しい答えに「いいえ」と言ってしまう数が増えました。新しく用意した300問では、かえって悪くなりました。

    2. 辞書を深くたどる、言葉の地図で埋める

    正しいのに、辞書をたどっても答えに着かない問いもありました。「動物学者は生き物か」「孫娘は哺乳類か」のように、たどる段が足りない物です。

    1つ目の案は、辞書を3段から6段まで深くたどることです。ところが、深くして新しく「はい」になった道は、ほとんどが「人 → 個人 → 人間 → ヒト科 → 類人猿(=動物)」という同じ1本でした。全体の結果は変わりませんでした。

    2つ目の案は、辞書をたどった結果から、言葉どうしの関係を「箱」の入れ子の形で覚えさせることです(箱の形のベクトル、と呼ばれるやり方です)。「犬」の箱が「動物」の箱の中に入っていれば、「犬は動物の一種」と読めます。たどれなかった組も、箱の重なりから答えられるはずでした。ただ、この箱だけで答えさせると、辞書をたどるより悪い結果になりました。

    3. 手がかりを全部まとめる

    最後に、手元にある手がかりを全部並べて、1つの判断に使ってみました。

    ・Gemma自身の答えと、その自信

    ・辞書をたどった結果(浅い鎖も、深い鎖も)

    ・箱の重なり

    ・最初の意味の選び方

    どの手がかりをどれだけ信じるかは、正解の付いた問題から、学習で決めさせました。

    すると、Gemmaの答えと辞書だけを使うより、間違いがはっきり減りました(図の左)。新しい300問でも良くなりましたが、こちらは先に決めた基準のぎりぎりでした。

    面白かったのは、それだけでは悪かった箱が、まとめたときには一番役に立っていたことです。1人では頼りなくても、ほかの手がかりと組み合わせると役に立つ、ということだと考えています。

    4. ほかの問いでも効くか

    同じまとめ方が、ほかの種類の問いでも効くかを確かめました。前回までに取ってあった手がかり(辞書の鎖、問いの前に見せた一般的な文、Gemmaが自分で書いた文など)を使いました。

    ・一種か(「ビーグルは動物の一種か」)

    ・部分と全体(「タイヤは車の部分か」)

    ・病気の分類(「この病気は、がんの一種か」)

    ・地理(「この市は、西ヨーロッパにあるか」)

    結果を見る前に、「一種か」と「部分と全体」の両方で良くなれば「繰り返せた」とする、と決めておきました。

    結果は、「一種か」「部分と全体」「病気」で、Gemmaの答えだけを使う学習より、間違いが減りました(図の右)。決めておいた基準では、繰り返せたことになります。「地理」では変わりませんでした。

    ただ、気をつける点もあります。

    ・「部分と全体」で良くなったのは、ほとんどが前回の「問いの前に一般的な文を見せる」手がかりのおかげでした。

    ・箱は、「一種か」以外の問いでは、ほとんど何も足しませんでした。

    ・答え合わせをもう1つのAIの判定に替えると、「部分と全体」と「病気」の差は、基準に届きませんでした。


    画像

    この結果が意味すること

    今回は、1つの工夫を強くする案(最初の意味を選ぶ、深くたどる、箱で埋める)は、どれも単独では効きませんでした。効いたのは、手がかりを全部並べて、どれを信じるかを学ばせることでした。

    これは、機械学習ではよく知られた考え方です。いくつもの「自信」の点数を、少しの正解で学習してまとめると、一番良い1つより良くなることは、先行研究(Chauhan ほか 2026)でも多くの条件で示されています。今回は、それが小さいAIの答えの確かめでも、4種類の問いのうち3つで見られた、ということです。新しい発見というより、これまでの手がかりの整理と、次に何を伸ばすべきかの地図ができた、と考えています。

    その地図で、芯になっていたのは、辞書をたどる途中で「言葉の意味をGemmaに選ばせる」部分でした。次は、この意味選びがどれだけ確かなのかを、もっと多くの問題で測りたいと考えています。

    言えること、言えないこと

    ・使ったAIは小さいもの1つ(Gemma 2の2B)、英語だけです。

    ・答え合わせは、2つのAI(ClaudeとGemini)に常識で判定させたもので、人の判定ではありません。もう1つのAI(Gemini)の判定では、「部分と全体」「病気」の差は基準に届きませんでした。

    ・手がかりをまとめる学習には、正解の付いた問題が必要です。正解がまったくない場面では使えません。

    ・「地理」で効く、箱が必要、とは言えません。

    ・「一種か」はもともと間違いが少なく、実際の使い道でどれだけ役立つかは分かりません。

    おわりに

    今回は、1つずつの工夫が次々に空振りし、最後にまとめたものだけが残りました。地味な結果ですが、何が効いて何が効かないかを、先に決めた基準で確かめられたことには、意味があると考えています。

    研究は、少しずつ進めます。

    前回の記事:https://note.com/mst_design2020/n/ndb76756d6b3e

    実験のコードと結果のファイルは、次の場所で公開しています(説明は日本語と英語)。https://github.com/mst-design2020/akane-e2-experiments

    参考文献

    著者:加藤雅也(M.S.T.デザイン代表・大分県佐伯市)https://mst-design.jp/

     
     
    エネルギーベースモデルのAI研究「AKANEアーキテクチャ」の提唱者・個人研究者。大分県佐伯市でM.S.T.デザイン代表(Web制作・映像・写真・デザイン)。研究のまとめ https://mst-design.jp/research/

    あなたへのおすすめ