メインコンテンツへスキップ
見出し画像

小さいAIの答えを、外から確かめる(続き)――意味選びは3万問でも約8割、網と「行き止まりの穴埋め」は効かなかった

    何のための実験か

    このシリーズでは、小さい言葉のAIの答えを、AIの外から確かめるしくみを作ろうとしています。使っているのは、Googleの小さな言葉のAI、Gemmaです。

    これまでで一番効いたのは、辞書の説明文をたどるやり方でした。たとえば「孫娘は哺乳類の一種か」なら、「孫娘 → 人 → 哺乳類」と辞書を引いていきます。そのとき、途中の言葉がどの意味か(「bank」なら銀行か土手か)をGemmaに選ばせると、取り違えが大きく減りました。前回は、手元の手がかりを全部まとめて学ばせると、さらに良くなることを書きました。

    今回は、そこで残っていた3つの問いを確かめました。

    • Gemmaの「意味を選ぶ力」は、本当に確かなのか。これまでは37問でしか測っていませんでした。

    • 正解がまったくない時なら、ルールでつないだ網(確率伝搬)に出番があるのか。

    • 辞書をたどっても答えに着かない「行き止まり」を、外の文で埋められるか。

    先に結論

    • Gemmaの意味選びは、人が意味を書き込んだ3万4千問でも、約8割当たりました。辞書の最初の意味を選ぶやり方(約6割)や、文の近さで選ぶやり方(約7割)より上です。言葉の名前を隠しても変わらず、辞書を丸暗記していただけではない、と考えています。

    • 正解がまったくない時も、網でまとめるやり方は、手がかりを素直に平均するやり方に勝てませんでした。先に決めておいたとおり、この研究の形では「網の役目は終わり」としました。

    • 辞書の行き止まりは、外の文で埋められました。ただ、一般的な文は雑音が多く、直した分より多くの間違いを足してしまいました。Wikipediaはきれいですが、埋まる数が少なすぎました。


    画像
    図 今回の3つの結果。①意味選び(高いほど良い)、②正解なしでまとめる(低いほど良い)、③辞書の行き止まりを外の文で埋める(低いほど良い)

    1. 意味選びを、3万4千問で測り直す

    これまでの一番の発見は、「途中の言葉の意味をGemmaに選ばせると、取り違えが減る」でした。ただ、それを確かめたのは37問だけで、37問中35問が当たりという数字は、たまたま高かった可能性がありました。

    そこで、もっと多くの問題で測り直しました。使ったのは、WordNetという英語の辞書の説明文に、人が一語一語「この言葉はこの意味」と書き込んだデータです。説明文の中心の言葉(たとえば「犬:家で飼われる動物」の「動物」)がどの意味かを当てる問題を、3万4千問作りました。

    結果は次のとおりです。

    • Gemma:約81%

    • 文の近さで選ぶ:約68%

    • 辞書の最初の意味を選ぶ:約61%

    • 説明文の重なりで選ぶ昔からのやり方:約36%

    37問での95%は高すぎで、たくさんの問題では約8割でした。それでも、ほかのやり方にははっきり勝っています。正解が辞書の最初の意味ではない、難しい問題だけを見ても75%でした。

    2. 覚えていただけではないか

    気になったのは、Gemmaが辞書そのものを覚えていて、答えを思い出しているだけではないか、という点です。WordNetは、AIの学習に使われていてもおかしくない、よく知られた辞書です。

    そこで、3つのやり方で確かめました。

    • どの言葉の説明文かという名前を隠す → ほとんど変わらない(81%)

    • 名前を隠したうえで、説明文と候補を別のAIで言い換える → 69%に下がるが、辞書の最初の意味(59%)よりは上

    • 説明文の前半を見せて、後半を言わせる → よく覚えている問題でも、ほとんど覚えていない問題でも、当たる割合はほぼ同じ

    先に決めておいた2つの基準が両方成り立ったので、「覚えているだけではない」と考えています。ただ、言い換えが荒かったので、言い換えで下がった分のうち、どこまでが覚えていた分なのかは分けられていません。

    また、Gemmaの外れの多くは、近い意味の取り違えではありませんでした。自信が低い時だけ別のやり方に切り替える工夫も、効きませんでした。

    3. 正解がまったくない時、網でまとめるか

    このシリーズは、もともと「AIの答えどうしをルールでつないだ網で、間違いを見つける」ところから始まりました。ところが、正解の付いた問題が少しでもある場面では、網は、正解から学ぶやり方にずっと負けてきました。

    まだ試していなかったのは、正解がまったくない場面です。前回までに、1つの問いについて5種類の手がかり(何も見せずに聞く、辞書を見せて聞く、一般的な文を見せて聞く、自分で書いた文を見せて聞く、別の判定役)が集まっていたので、新しくAIを動かさずに比べられました。

    まとめ方は、素直に平均する、多数決、手がかりごとの信頼度を推し量る昔からのやり方(Dawid–Skene)、それにルールを入れた網です。

    結果は、素直に平均するのが一番でした。どの手がかり1つよりも良くなりました。網は平均と同じくらいで、少し悪い向きでした。信頼度を推し量るやり方は、「部分と全体」の問いではっきり悪くなりました。5つの手がかりが、みな同じ小さいAIから出ているので、間違い方が似ていて、推し量りがうまく働かなかったのだと考えています。

    結果を見る前に、「網が平均と多数決の両方に勝てば、網に出番がある。勝てなければ、網の役目は終わり」と決めていました。決めたとおり、この研究の形では網の役目は終わりとしました。網を物理の部品(p-bit)で動かす方式に替えても、答えの正しさは同じくらいでした。

    4. 辞書の行き止まりを、外の文で埋める

    辞書をたどるやり方で、正しいのに「いいえ」と言ってしまう問題を数えると、多くは「人」や「動物」から「生き物」「哺乳類」に着けないものでした。辞書をたどっていくと、どこかで輪になって先に進めなくなる「行き止まり」があるためです。前回、辞書を深くたどっても効かなかったのは、このためでした。

    そこで、辞書の外の文を継ぎ足して、行き止まりの先へ進めるかを試しました。

    • 一般的な文を集めたデータ(GenericsKB)と、Gemmaが自分で書いた文

    • Wikipediaの記事の最初の文、記事の冒頭の段落

    一般的な文を足すと、行き止まりの約8割が埋まり、正しい答えに着けるようになりました。ところが、雑音も多く、間違った「はい」がそれ以上に増えて、全体では悪くなりました。たとえば「Safety」という名前の農薬の文から「安全は植物の一種」とたどったり、スポーツ記事の文から「孫娘は勝利の一種」と読んでしまったりしました。判定をGemmaに替えても、悪いままでした。

    Wikipediaはきれいで、間違いはほとんど増えませんでした。ただ、普通の名詞の多くには記事がなく、埋まったのは約4分の1だけで、全体は変わりませんでした。

    最後まで埋まらなかった問題を見ると、多くは「人」や「哺乳類」までは着いているのに、最後の一歩、「哺乳類は生き物か」の判定で落ちていました。足りないのは外の文の量ではなく、最後の一歩の判定でした。次の実験では、この最後の一歩の判定役を替えてみました。その結果は、次の記事で書きます。

    この結果が意味すること

    今回で、このシリーズの地図がかなりはっきりしました。

    • 小さいAIには、「言葉の意味を選ぶ」のような狭い役目だけをさせると、たくさんの問題でも働きます。

    • 1つのしくみを強くする工夫(深くたどる、穴を埋める、網でまとめる)は、どれも単独では効きませんでした。

    • 効いたのは、手元の手がかりを全部並べて、どれを信じるかを学ばせることでした(前回)。正解がない時は、素直な平均が一番でした(今回)。

    網(確率伝搬)とp-bitは、最初に考えていたような「正しさを上げる主役」にはなりませんでした。p-bitの役目は、正しさではなく、速さや電力の側にあると考えています。ただ、それはこの実験からは何も言えません。

    言えること、言えないこと

    • 使ったAIは小さいもの1つ(Gemma 2の2B)、英語だけです。

    • 答え合わせの多くは、2つのAI(ClaudeとGemini)に常識で判定させたもので、人の判定ではありません。意味選び(1と2)だけは、人が書き込んだ正解です。

    • 意味選びは、WordNetという辞書で測りました。これまでの実験で使ってきた別の辞書(Wiktionary)でも同じになるかは、分かりません。覚えている分がまったくない、とも言えません。

    • 網の比べで使った5つの手がかりは、どれも同じ小さいAIから出たものです。

    • 行き止まりの穴埋めは、前に使ったのと同じ問題で試しました。4通り試して、どれも変わらないか悪くなりました。

    おわりに

    今回も、工夫の多くが空振りでした。ただ、空振りの理由(行き止まり、最後の一歩)が数えて分かったことで、次に何を確かめればよいかが絞れてきました。

    研究は、少しずつ進めます。

    前回の記事:https://note.com/mst_design2020/n/n8ca2afb0ac35

    実験のコードと結果のファイルは、次の場所で公開しています(説明は日本語と英語)。https://github.com/mst-design2020/akane-e2-experiments

    数式つきの詳しい説明は、Zennに書きました。https://zenn.dev/mst_design2020/articles/8ac3114ae8cf58

    参考文献

    著者:加藤雅也(M.S.T.デザイン代表・大分県佐伯市)https://mst-design.jp/

     
     
    エネルギーベースモデルのAI研究「AKANEアーキテクチャ」の提唱者・個人研究者。大分県佐伯市でM.S.T.デザイン代表(Web制作・映像・写真・デザイン)。研究のまとめ https://mst-design.jp/research/

    あなたへのおすすめ