
AIの答えを大きな網にまとめたら――輪の多い網でも、p-bitの方式でも、単純なやり方に勝てなかった
(11月11日 訂正)この記事で比べた「特徴を学習で組み合わせるやり方」は、直線の学習(ロジスティック回帰)でした。同じ特徴を木の学習(勾配ブースティング)で組み合わせると、WordNetの正解ではAURCが0.038になり、慎重な網(0.079)よりはっきり良くなりました。「慎重な網は学習と同じくらい」は、WordNetの正解では言えなくなります。ただ、この良さの多くは、問題の作り方の癖(本当の分類どうしは表の中でつながっている、など)と、WordNetの狭い意味の取り方を、木の学習が覚えたためでした。常識で確かめ直した700問では、慎重な網0.039、木の学習0.049で、同じくらいのままでした。
前回の記事の終わりに、「網の考え方が本当に効くとすれば、たくさんの知識が輪になってつながる、大きな記憶の網の場面だと考えている」と書きました。今回はそれを確かめました。
AIが答えた何千もの「〇〇は△△の一種か」を、輪のたくさんある1つの大きな網にまとめ、AIの間違いを見つけて「分かりません」と控えられるかを調べました。あわせて、その網を確率伝搬で計算した場合と、p-bitの方式(揺らして数える)で計算した場合に、差が出るかも見ました。
先に言うと、どちらも期待したようにはなりませんでした。大きな網は、特徴を学習で組み合わせる単純なやり方に勝てませんでした。確率伝搬とp-bitの方式の正しさは、一度も分かれませんでした。うまくいかなかった結果ですが、どこで崩れるかははっきりしたので、そのまま書きます。
なぜ大きな網か
これまでの実験の網は、どれも小さく、輪のほとんどない形でした。輪のない網では、確率伝搬は簡単な掛け算とほとんど同じになります。それなら、凝った計算が単純な計算に勝てなくても不思議ではありません。
一方、本物の記憶は輪だらけです。「コマドリは鳥」「鳥は動物」「コマドリは動物」は、三角の輪になります。こういう輪が何万もある網では、確率伝搬は近似になり、ずれることがあると知られています。そのずれが出る所なら、揺らして数えるp-bitの方式が正確さで上回るかもしれない、と考えました。
近い先行研究に、ウェブから自動で集めた知識(NELL)を、分類のルールと一緒に1つの網で計算したものがあります(Pujara ほか 2013、Jiang ほか 2012)。ただし、そこではルールは人が作った正しい表です。今回は、分類の知識そのものもAIの答え(間違いを含む)として網に入れました。p-bitの方式と確率伝搬をこの種の網で比べた例は、見当たりませんでした。
1. 作り物の網で、差が出る所を探す
まず、答えの分かっている作り物の網(主張2,000個)で、1つの主張につながる線の数(2〜6本)、外れたルールの割合(1〜30%)、ルールの信じ方(正しい強さ/2倍信じすぎ)を変えて、32通りを5回ずつ試しました。
結果は、32通りのうち30通りで、確率伝搬とp-bitの方式の正しさは同じくらいでした。残り2通りは確率伝搬が上で、p-bitの方式が上の所はありませんでした。
線が多く、外れたルールを信じすぎる所では、確率伝搬の確率は確かに正確な答えからずれました(小さな網で確かめると、ずれの平均0.10。p-bitの方式は0.01)。ただ、確率が少しずれても、答えの正しさの差にはなりませんでした。逆に、強いルールを信じすぎる所では、p-bitの方式が一つの答えに閉じこもって負けることがありました。
2. 本物の網:WordNetとGemma
次に本物です。英語の辞書WordNetから、よく使う名詞1,500個と、分類46個(鳥、道具、乗り物、食べ物など)を選びました。小さな言葉のAI(GoogleのGemma-2 2B)に、次の3種類を聞きました。
・名詞の主張:「コマドリは鳥の一種か」(名詞ごとに正しい分類と、関係ない分類)
・分類どうしの主張:「鳥は動物の一種か」
・両立しないか:「道具であり武器でもある物はないか」
ルールは「一種の一種は一種」「両立しない分類に両方入ることはない」といった論理の形だけを決め、分類の知識そのものは、AIの答えとして網に入れました。主張は10,864個、ルールは51,643個、独立な輪は約8万個です。正解はWordNetの階層から取りました。
比べ方と勝ち負けの決め方は、実験の前に書いて固定しました。名詞を5つに分けて5回測り、差が0.02以上で、5回中4回以上上回ったときだけ「勝ち」です。答える割合を半分にしたとき、答えた分の正しさは次のとおりでした。
・特徴を学習で組み合わせる:99.8%
・矛盾を数える:97.7%
・1語ずつの小さな網(確率伝搬):96.1%
・大きな網(確率伝搬):95.5%
・大きな網(p-bitの方式):93.9%
・AIの自信:88.3%
大きな網はAIの自信には5回とも勝ちましたが、1語ずつの小さな網とは同じくらいで、特徴を学習で組み合わせるやり方には5回とも負けました。確率伝搬とp-bitの方式も同じくらいでした(1回だけp-bitの方式が閉じこもり、残り4回はほぼ一致)。
気になったのは、たくさんの名詞で使い回される「鳥は動物の一種か」のような分類どうしの主張です。網に入れると、AIの答えのままより悪くなりました。たくさんの名詞から少しずつ疑いが流れ込み、積み重なって倒れてしまうためです。
また、この回は、うその候補が「関係ない分類」だったので、ルールで見分けやすい作りになっていました。
3. ルールの強さを学ばせ、うそを難しくする
そこで3回目は、2つを変えました。
1つ目は、うその候補を本物らしくしたことです。Gemmaが一番「はい」と言ってしまった間違いの分類、兄弟やおじに当たる分類(たとえば鳥に対する爬虫類)、関係ない分類の3種類を入れました。名詞は1,681個、Gemmaには8万問あまりを聞きました。
2つ目は、ルールの強さを、学習で決めたことです。NELLの研究(Jiang ほか 2012)では、ルールの強さを学習で決めた網が、1件ずつ学習するやり方に勝っていました。それにならいました。さらに、使い回す分類どうしの主張は網の中で動かさず、AIの答えのまま固定する「慎重な網」も足しました。
答える割合を半分にしたとき、答えた分の正しさは次のとおりでした。
・慎重な網:93.5%
・特徴を学習で組み合わせる:93.0%
・1語ずつの小さな網:89.6%
・AIの自信:77.1%
・大きな網(確率伝搬):60.9%
・大きな網(p-bitの方式、温度を変えた4本を入れ替えながら):60.8%
ルールの強さを学んだ大きな網は、ほとんど全部を「はい」と答える形に倒れ、AIの自信より悪くなりました。分類どうしの主張を補正せずにAIの値のまま入れて計算し直しても、やはり倒れました(これは結果を見たあとで足した確かめです)。原因は2回目と同じで、使い回す主張に疑いが積み重なることだと考えています。
慎重な網は、5回とも特徴を学習で組み合わせるやり方より少しだけ良い値でしたが、差は小さく(AURCで0.007)、決めておいた基準では「同じくらい」です。NELLの研究の「学習した網が勝つ」は、ルールの中身もAIの答えであるこの場面では、再現しませんでした。
Gemmaが一番信じてしまったうそを見抜けた割合は、AIの自信だけでは31%、特徴を学習で組み合わせると53%、慎重な網で54%でした。
(11月10日追記)この31%・53%・54%は、WordNetの正解で数えたものです。あとで700個を目で確かめ直すと、「Gemmaが一番信じたうそ」の約3分の1は、普通の感覚では正しい答えでした(agua→飲み物、velvet→材料、economist→働く人 など。WordNetが言葉の意味を狭く取っているためです)。普通の感覚の正解で数え直すと、見抜けた割合はAIの自信で約60%、特徴を学習で組み合わせると約76%、慎重な網で約80%でした。その700個の中では、慎重な網は特徴を学習で組み合わせるやり方より5回とも少し良く、差は少し広がりました(決めておいた基準では、同じくらいのままです)。目で確かめた判定は1人分で、抜き出した700個での数字です。
確率伝搬とp-bitの方式は、今回も同じくらいでした。温度を変えた鎖どうしの入れ替えは一度も起きず、この大きさの網では、温度4本の工夫は働きませんでした。
実験の前に書いた予想5つのうち、当たったのは3つでした。外れたのは「学習した大きな網は、AIの自信を補正しただけのやり方に勝つ」と「名詞の主張では、大きな網と慎重な網は同じくらい」の2つです。
この結果が意味すること
「全部の答えを1つの大きな網に入れて、まとめて考えれば賢くなる」という形は、今回の範囲では支えられませんでした。使い回す知識まで網の中で動かすと、かえって倒れました。
残ったのは、「使い回す知識は固定し、その場の答えだけを網で決める」という形です。これが一番良く、特徴を学習で組み合わせるやり方と並びました。周りの答えに頼ってまとめて決めると間違いが広がることがあり、慎重さのほうが計算の方法の違いより効く、という先行研究(McDowell ほか 2009)とも合っています。
p-bitの方式は、作り物でも本物でも、正しさでは確率伝搬と分かれませんでした。p-bitに良さがあるとすれば、正しさではなく、速さや電力のほうだと考えています。ただ、それはパソコンの中で真似た今回の実験では測れません。
言えること、言えないこと
・大きな網や、私のやり方が、ほかより良いとは言えません。
・分野は1つ(WordNetの分類)、AIは小さいもの1つ、英語だけです。正解はWordNetの階層で、WordNetの癖があります(そのため分類を4つ外しました)。あとで確かめると、WordNetで「うそ」とされた答えの中に、普通の感覚では正しいものがかなり混ざっていました(上の追記)。逆に「正しい」とされた答えの約1割は、普通の感覚では外れでした。
・3回目のルールの強さの学び方は近似です(周りをAIの答えに固定して学んでいます)。慎重な網は、名詞の主張で学んだ補正を分類どうしの主張にもそのまま使ったため、分類どうしの主張そのものの成績は悪くなりました。
・特徴を学習で組み合わせるやり方は、正解の付いた名詞を2割使って学習しています。網の強さの学習にも同じ2割を使いました。
・p-bitの方式は、温度の段を4つしか使っていません。段を細かくすれば入れ替えは起きるはずですが、確かめていません。ただ、確率伝搬でも同じ所に倒れたので、倒れた原因は解き方より網の作りのほうにあると考えています。
・知識が時間で古くなる場面は入っていません。WordNetの分類は時間で変わらない知識です。
・p-bitはパソコンの中で真似たものです。速さや電力については、何も言えません。
おわりに
大きな網にすれば何かが変わる、という期待は、今回は外れました。それでも、どこで崩れるか(使い回す知識に疑いが積み重なる所)と、どうすれば崩れないか(使い回す知識は動かさない)は見えました。
今回の比べ相手は、正解の付いたデータを2割使って学習していました。正解の付いたデータがない場面では、ルールだけで動ける網のほうに出番があるかもしれません。次に何を確かめるかは、ここから考えます。
研究は、AKANE AIの開発の合間に少しずつ進めます。
前回の記事:https://note.com/mst_design2020/n/nf427df9ee49d
実験のコードと結果のファイルは、次の場所で公開しています(説明は日本語と英語)。https://github.com/mst-design2020/akane-e2-experiments
参考文献
Pujara ほか「Knowledge Graph Identification」ISWC 2013
Jiang・Lowd・Dou「Learning to Refine an Automatically Extracted Knowledge Base using Markov Logic」ICDM 2012
McDowell ほか「Cautious Collective Classification」Journal of Machine Learning Research 2009
Weller「Bethe and Related Pairwise Entropy Approximations」UAI 2015
Murphy・Weiss・Jordan「Loopy Belief Propagation for Approximate Inference: An Empirical Study」UAI 1999
Sun ほか「Are Large Language Models a Good Replacement of Taxonomies?」(TaxoGlimpse)VLDB 2024 https://arxiv.org/abs/2406.11131
Nikhar ほか「All-to-all reconfigurability with sparse and higher-order Ising machines」Nature Communications 2024
Miller「WordNet: A Lexical Database for English」Communications of the ACM 1995
Gemma Team「Gemma 2: Improving Open Language Models at a Practical Size」2024 https://arxiv.org/abs/2408.00118
著者:加藤雅也(M.S.T.デザイン代表・大分県佐伯市)https://mst-design.jp/