メインコンテンツへスキップ
見出し画像

小さいAIの自信ある間違いを、辞書で直せるか――AIには「言葉の意味を選ぶ」役目だけをさせた

    (11月11日 訂正)この記事で辞書の説明文をたどる時、説明文の中心の言葉を取り出すのに、手で書いた言葉の一覧を使っていました(「one who …」なら「人」、「a kind of X」なら X、など)。分野の知識ではなく英語の言い回しの一覧で、結果を見る前に決めたものですが、人が書いた一覧に結果が頼っているのは良くないと考え、一覧を一切使わないやり方で流し直しました。 変わらなかったこと:Gemmaに意味を選ばせると、意味の取り違えは大きく減りました(選ばない時72%、Gemmaに選ばせると10%)。自信ある間違いの直りは75%のまま、さきほどの68問で正しい答えを間違いに変える割合は40%→31%(つながない時より少ない)、新しい300問でもGemmaの自信だけより、はっきり良い結果でした(0.118→0.046)。 変わったこと:記事の数字のうち、取り違え「4%」は10%、学習なしの物差し「0.047」は0.063、学習ありの「0.037」は0.056になりました。辞書を1段だけ見るやり方(0.069)との差も小さくなりました。この2つの物差しの数字は、一覧に助けられていた分を差し引いて読んでください。訂正します。

    何のための実験か

    小さい言葉のAIは、ときどき、自信たっぷりに間違えます。たとえば、今回使ったGemma(Googleの小さな言葉のAI)は、「ビーグルはスポーツの一種か」と聞かれて、強い自信で「はい」と答えました。ビーグルは犬の種類です。

    このシリーズでは、AIの答えを、AIの外から確かめるしくみを作ろうとしています。前回までは、AIの答えどうしの矛盾をルールで調べる方法を試してきました。ただ、ルールでは、AIが自信を持って言い切る間違いを、あまり直せませんでした。

    そこで今回は、外の資料を使うことにしました。人が知らない言葉を辞書で引くように、AIの答えを、辞書の説明文と照らし合わせます。辞書には「ビーグル:小型の猟犬の品種」と書いてあります。これを読めば、「スポーツの一種」は違うと分かるはずです。

    今回知りたかったのは、次の3つです。

    ・辞書の説明文で、AIの自信ある間違いはどれだけ直るか

    ・逆に、正しい答えを間違いに変えてしまうことはないか

    ・うまくいかない所があるなら、どうすれば直せるか

    3つの実験(E6・E7・E8)を順に行いました。

    先に結論

    ・辞書の説明文を照らし合わせると、Gemmaの自信ある間違いの約4分の3が直りました。

    ・ただ、説明文をそのまま使うと、遠回りの正しい答え(「孫娘は哺乳類」など)を間違いに変えてしまいました。

    ・辞書を何段もたどると、この失敗は減りました。ところが、たどる途中で言葉の意味を取り違えることが多く、調べた道の6割が、取り違えを含んでいました。

    ・この取り違えを、Gemma自身に「この文の中では、この言葉はどの意味か」を選ばせて防ぐと、取り違えは4%まで減りました。(11月11日 訂正:手で書いた一覧なしで確かめ直すと、72%→10%)直す力は落ちず、正しい答えを間違いに変える失敗も減りました。

    ・Gemmaは「XはCの一種か」という判断は苦手でも、「どの意味か」を選ぶのは得意でした。苦手な判断はさせず、得意な小さな役目だけをさせると、全体がうまく働きました。

    ・一方、このシリーズで試してきた網(確率伝搬)は、今回も、単純なやり方に勝てませんでした。

    1. 辞書の説明文を見せる(E6)

    前回と同じ700問を使いました。どれも「XはCの一種か」という問いです(X はビーグルのような物の名前、C は「スポーツ」「道具」「動物」のような分類)。答え合わせは、2つのAI(ClaudeとGemini)に常識で判定させたものを使いました。人の判定ではありません。

    700問の中に、Gemmaが「はい」と言ったのに常識では違う問いが81問ありました。これを「自信ある間違い」と呼びます。たとえば、次のようなものです。

    ・ビーグルはスポーツの一種(実際は犬の品種)

    ・舵取り(helmsman)は船の一種(実際は船を操る人)

    ・マルガリータは料理の一種(実際はカクテル)

    物の名前の説明文を、英語版のウィクショナリー(誰でも編集できる辞書)から取りました。照らし合わせ方は2通り試しました。

    ・説明文をGemmaへの質問に入れて、聞き直す

    ・Gemmaとは別の、文と文の関係を判定するAI(NLI)に、「説明文から、その答えが言えるか」を判定させる

    結果は、聞き直すと70%、別のAIで判定すると75%の自信ある間違いが直りました。説明文を見せること自体が効く、というのは先行研究とも合っています(TaxoLLaMA 2024 など)。

    ただ、困ったことが起きました。正しい答えを、間違いに変えてしまうことがあったのです。とくに、常識では正しいのに、前回までの正解表(辞書WordNetの分類)では「違う」とされていた68問では、4割を「違う」に変えてしまいました。多くは、遠回りの答えでした。たとえば「孫娘は哺乳類の一種」は正しいのですが、辞書の「孫娘」の説明文には「子どもの娘」としか書いてなく、「哺乳類」は出てきません。そのため、説明文からは言えない、と判定されてしまいました。

    2. 辞書を段々にたどる(E7)

    遠回りの答えを救うには、辞書を何段かたどればよいはずです。「孫娘 → 娘 → 人 → 哺乳類」のように、説明文の頭の言葉を次々に引いていきます。昔から辞書を使って分類の木を作る研究で使われてきたやり方です(OntoLearn 2013 など)。今回は3段までたどりました。

    たどると、正しい答えを間違いに変える失敗は減りました(さきほどの68問で、40%→29%)。「〜は生き物」のような正しい答えに「違う」と言ってしまう割合も、24%から6%に下がりました。

    ところが、今度は自信ある間違いの直りが、75%から64%に下がりました。調べてみると、原因は意味の取り違えでした。

    英語の person(人)には、辞書の中に「体」という古い意味もあります。辞書をたどる途中で、person をこちらの意味で読んでしまうと、「〜は人」のはずが「〜は体の部分」にたどり着きます。device(装置)を「企み」の意味で読んでしまう、ということも起きました。分類までたどり着いた2段以上の道を50本調べると、30本が途中で意味を取り違えていました。

    この取り違えは、1990年代の辞書の研究でもすでに難所として知られていました(Rigau ほか 1998 など)。

    3. 言葉の意味を、小さいAIに選ばせる(E8)

    そこでE8では、辞書をたどる途中の言葉について、どの意味で読むかを1つに決める方法を、4通り比べました。

    ・選ばない(E7と同じ。最初の4つの意味を全部たどる)

    ・辞書で「古い」「まれ」「俗語」などの印が付いていない、最初の意味を使う(辞書の説明文をつないで言葉の関係を判定する先行研究、Kovács ほか 2023 のやり方)

    ・1つ前の説明文に、一番近い意味を使う(文の近さを測るAIで)

    ・Gemmaに、1つ前の説明文と意味の候補を見せて、選ばせる

    4つ目では、Gemmaに分類(スポーツかどうか、など)は見せていません。「この説明文の中で、この言葉はどの意味で使われているか」だけを選ばせました。

    結果は、はっきり分かれました。分類までたどり着いた道のうち、意味の取り違えを含む割合は次のとおりでした。

    ・選ばない:64%(一覧なしでは72%)

    ・印のない最初の意味:11%

    ・文の近さ:13%

    ・Gemmaに選ばせる:4%(一覧なしでは10%)


    画像

    あまりに良い数字だったので、間違いがないかを別の形でも確かめました。意味を選ぶ場面を無作為に40個取り出し、先に正しい意味を決めておいてから、各方法の答えと照らしました。正しい意味がはっきり決められた37個のうち、正しい意味を選べたのは、Gemmaが35個、ほかの方法はどれも24個でした。

    Gemmaが選んだ意味で辞書をたどると、自信ある間違いの直りは75%に戻り、正しい答えに「違う」と言ってしまう割合は8%に抑えられました。辞書を1段だけ見るやり方の良い所と、何段もたどるやり方の良い所を、両方取れた形です。

    ここが今回一番の発見だと考えています。Gemmaは「ビーグルはスポーツの一種か」のような判断では自信たっぷりに間違えます。それなのに、「この文の中のこの言葉はどの意味か」を選ぶのは、とても正確でした。AIに意味を選ばせる研究そのものはあります(Meconi ほか 2025)。ただ、辞書を何段もたどる道で、小さいAIを意味選びにだけ使い、AI自身の間違いを確かめるのに役立てたものは、調べた範囲では見当たりませんでした。

    4. 新しい300問で確かめる

    700問を何度も見ながら方法を決めると、たまたまその700問に合っただけ、ということが起こりえます。そこで、方法をすべて決めたあとに、一度も使っていない新しい300問で確かめました。

    新しい300問でも、Gemmaに意味を選ばせて辞書をたどるやり方は、Gemmaの自信だけで判断するよりはっきり良い結果でした(間違いを見分ける力の物差しで、0.118→0.039。小さいほど良い)。

    ただし、辞書を1段だけ見るやり方(0.055)との差は、300問でははっきりしませんでした。新しい300問は、前の700問より易しかったようです。

    5. 網(確率伝搬)は、今回も出番がなかった

    このシリーズでは、AIの答えを網にまとめ、確率伝搬(BP)で全体の筋が通るように整える方法を試してきました。今回も、辞書の道を網にまとめる方法を比べました。E8では、「動物でもあり、人工物でもある」のような両立しない答えを手がかりに足す工夫も入れました。

    しかし、網は、一番強い道の点を掛け合わせるだけの単純なやり方に、5回とも負けました。両立しない手がかりの強さも、学習用のデータで選ぶと、ほとんどの回で「使わない」が選ばれました。

    網が働かなかった理由は、網が「どの道がどれだけ強いか」しか見ず、道の途中の言葉の意味までは見ていないからだと考えています。取り違えを減らしたのは、網の計算ではなく、Gemmaの意味選びでした。

    この結果が意味すること

    小さいAIの自信ある間違いは、辞書のような外の資料と照らし合わせると、多くが直りました。ただし、資料の読み方を誤ると、正しい答えまで壊します。その読み方の誤りの多くは、言葉の意味の取り違えでした。

    そして、その意味の取り違えを防ぐのに、間違えた当のAIが役に立ちました。AIに全部を判断させるのではなく、AIが得意な小さな役目(意味を選ぶ)だけをさせ、最後の判定は外のしくみで行う。この分け方が、今回いちばん良く働きました。

    言えること、言えないこと

    ・使ったAIは小さいもの1つ(Gemma 2の2B)、問いは「XはCの一種か」の形だけ、英語だけです。ほかの種類の間違いにも効くかは分かりません。

    ・答え合わせは2つのAIによる常識の判定で、人の判定ではありません。新しい300問の判定と、意味の取り違えの判定は、1つのAI(Claude)だけです。取り違えの判定では、どの方法の道かを伏せて判定させました。

    ・新しい300問では、辞書を1段だけ見るやり方に勝ったとは言えません。

    ・意味の取り違えの割合は、方法ごとに調べた道の数が違います(18本〜50本)。印のない最初の意味と文の近さの数字は、特に幅を持って見てください。

    ・Gemmaに意味を選ばせると、さきほどの68問で正しい答えを間違いに変える割合は、選ばない場合より少し増えました(29%→34%)。

    ・辞書を段々にたどる結果を、学習で他の手がかりと組み合わせる方法は、一番良い数字になりましたが、意味を選ばない場合との差は、実験の前に決めた基準に届きませんでした。

    おわりに

    前回の記事で残した「自信ある間違いを、外の資料で直せるか」という問いには、「多くは直せる。ただし、資料の言葉の意味を正しく読むことが大事で、それには小さいAI自身が使える」という答えになりました。

    網(確率伝搬)の出番は、まだ見つかっていません。この点は正直に残しておきます。

    研究は、AKANE AIの開発の合間に少しずつ進めます。

    前回の記事:https://note.com/mst_design2020/n/n222a0ecf386d

    実験のコードと結果のファイルは、次の場所で公開しています(説明は日本語と英語)。https://github.com/mst-design2020/akane-e2-experiments

    参考文献

    著者:加藤雅也(M.S.T.デザイン代表・大分県佐伯市)https://mst-design.jp/

     
     
    エネルギーベースモデルのAI研究「AKANEアーキテクチャ」の提唱者・個人研究者。大分県佐伯市でM.S.T.デザイン代表(Web制作・映像・写真・デザイン)。研究のまとめ https://mst-design.jp/research/

    あなたへのおすすめ