小さいLLMの点検で、効いたのは意味選びと手がかりを全部まとめる学習だった(E11〜E14)
この連載では、小さな言葉のAI(Gemma-2 2B)を「口」として使い、その答えを AI の外に置いた部品で確かめられるかを、1つずつ試しています。将来はこの「確かめる計算」を p-bit のような物理の部品に任せる、AKANE アーキテクチャという構想の部品の研究です。
これまでの流れ
- E2-10・E2-11:先行研究 BTProp と同じテストで、ルールも疑う確率伝搬(BP)を比べた。わざと壊したつながりには強いが、元のつながりでは BTProp が上か同着。
https://zenn.dev/mst_design2020/articles/8b904689df2ddc - E2-12:つながりを実際の AI に付けさせると、BTProp はほとんど崩れず、疑う BP の出番はなかった。
https://zenn.dev/mst_design2020/articles/bc3e1c916a4baa - E3:資料をつなぐ網で「分からない」と控える判断は、NLI の特徴+学習に勝てなかった。
https://zenn.dev/mst_design2020/articles/c1537032d8943c - E4・E5:AI の何千もの答えを輪の多い大きな網にすると崩れた。BP と p-bit 方式の正しさは分かれなかった。
https://zenn.dev/mst_design2020/articles/545424bd00f46f - E6〜E8:網から離れ、辞書の説明文で確かめた。説明文をたどる「辞書の鎖」で、途中の語の意味を Gemma に選ばせると、取り違えが72%→10%に減った。
https://zenn.dev/mst_design2020/articles/5d3feab2c2fff8 - E9:少しだけ辞書で確かめた答えを網で広げても、強い学習には勝てなかった。
https://zenn.dev/mst_design2020/articles/804eba1639b569 - E10:ほかの問いでは、答えを書いた文を前に置くと部分と全体で効いた。
https://zenn.dev/mst_design2020/articles/50e211cbd882af
ここまでで残った問いは2つでした。E8 で一番効いた「Gemma に意味を選ばせる」は本当に確かなのか(37問でしか測っていない)。そして、辞書の鎖に残った外れはどう直せるのか。網(BP)については、正解がある所では負け続けていて、正解がまったくない場合だけが試せていませんでした。
今回は E11〜E14 の4つをまとめて書きます。
- E11:鎖を深くする、箱の形のベクトルで埋める、手がかりを全部1つの学習に渡す。それをほかの問いでも繰り返す。
- E12:E8 の芯だった「Gemma が意味を選ぶ」を、人が意味を付けた3万4千問で測り直す。覚えていただけではないかも確かめる。
- E13:正解がまったくない時に、食い違う手がかりを網(確率伝搬、BP)でまとめると良いか。
- E14:鎖の行き止まりを、外の文(GenericsKB・Gemma が書いた文・Wikipedia)で埋める。
結論を先に書きます。
- 意味選びは、たくさんの問題でも保てました(E12)。 34,402問で Gemma は 80.9%。WordNet の最初の意味 60.5%、文の近さ 67.9% より上で、名前を隠しても変わらず、覚えていただけではないと見ています。
- 効いたのは、手がかりを全部1つの木の学習に渡すことでした(E11)。 700問で 0.053 → 0.038(5回中5回)。一種か・部分と全体・病気でも繰り返せました(地理は同着)。
- 1つの仕組みを強くする案は、どれも効きませんでした。 鎖を深くする(同着)、箱だけ(悪い)、物の語の意味を絞る(同着)、外の文で行き止まりを埋める(一般的な文では悪化、Wikipedia では同着)。
- 正解がない時も、網は5つの手がかりの素直な平均に勝てませんでした(E13)。 先に決めた決まりどおり、この研究の形では網の役目は終わりとしました。
コードと結果は GitHub にあります。
https://github.com/mst-design2020/akane-e2-experiments (analysis/e11/〜analysis/e14/、plans/E11*.md〜plans/E14*.md、data/、results/、Colab は colab/)。Wiktionary・Wikipedia の本文は CC BY-SA なので、公開した出力からは抜いてあります。
問いと物差し(4つに共通)
- AI は Gemma-2 2B、NLI は DeBERTa-v3-large、辞書は英語版 Wiktionary のダンプ(2026-11-10)です。手書きの語の一覧はありません。ノートを渡す前に毎回、方法のコードの文字列を機械で洗い出しました。
- 主な問いは E8 と同じ「X is a type of C.」の700問(常識の採点は Claude が主、Gemini が副)と、新しい300問(Claude だけ)です。人の判定ではありません。
- AURC は、確かな順に答えていった時の誤り率の平均で、小さいほど良い物差しです。答え
、確かさ[\hat p>0.5] の順に上から\max(\hat p,1-\hat p) 個答えた時の誤り率をk としてr_k 。\mathrm{AURC}=\frac1N\sum_{k=1}^N r_k - 「差あり」は、相手の AURC の20%以上の差があり、物の語で1,000回取り直した95%の幅が0をまたがない時(同じ問題で2つの方法を比べる、対応のある取り直し)。木の学習どうしは、5回中4回以上で20%以上の差がある時。E12 は正しさなので「5ポイント以上、かつ頭の語ごとの95%の幅が0をまたがない」。どれも結果を見る前に計画に固定しました。
鎖の式(E8 と同じ)。 物の語を
とし、点数は
E11:1つの仕組みを強くするより、全部まとめる
物の語そのものの意味(E11-1)
E8n の間違った「はい」65問を数えると、40問が1段目(物の語そのものの説明文)で起きていました。そこで Gemma に「この語の意味のうち、普段一番よく使うのはどれか」を選ばせ、1段目をその意味に絞りました。番号の字の確率を、くじの順と逆順で2回聞いて平均した物を
を比べます。R0 が E8n(全部の意味から始める)です。
- 普通の意味を当てる力はありました。WordNet の2,000語(正解は SemCor で一番多く付いた意味)で Gemma 59.2%、文の近さ 47.1%、でたらめ 33.2%(Gemma − 近さ +11.9ポイント、95%の幅 9.2〜14.4)。
- ただ、1段目を絞っても良くなりませんでした。R3 は 0.056 対 R0 0.063 で同着、新しい300問では 0.074 対 0.056 で悪い。間違った「はい」は54→24と減りましたが、正しい答えへの「いいえ」が52→72と増えました。
深い鎖・箱・全部入り(E11-2)
深い鎖。 同じ式で
箱の形のベクトル。 点
を「
全部入りの学習。 勾配ブースティング(scikit-learn の HistGradientBoosting)に、Gemma の logit・E6 の NLI の特徴・R0・深い鎖・箱・R3 を全部渡しました。
| 方法(700問、常識の採点) | AURC |
|---|---|
| Gemma の自信 | 0.154 |
| R0 鎖3段(E8n) | 0.063 |
| 木の学習(Gemma+E6 の特徴+R0) | 0.053 |
| 全部入りの木の学習 | 0.038(5回中5回で20%以上) |
新しい300問でも 0.042 → 0.031 で良くなりました(95%の幅の下は 0.0006 で、決まりのぎりぎり)。結果を見てから1つずつ抜くと(主張には使いません)、一番助けていたのは箱でした(抜くと 0.046)。箱だけでは悪いのに、材料としては効いていたことになります。
ほかの問いで繰り返す(E11-3)
取ってある材料だけで、全部入りが Gemma の答えだけの学習(C++)に勝つかを見ました。「一種か(K)と部分と全体(P)の両方で勝てば繰り返せた」と先に決めました。物ごとに5つに分け、2割で学習・8割で評価、5回です。
| 常識の採点(Claude)、AURC | C++ | 全部入り | 判定 |
|---|---|---|---|
| K 一種か | 0.017 | 0.004 | 差あり 5/5 |
| P 部分と全体 | 0.062 | 0.039 | 差あり 5/5 |
| D 病気 | 0.025 | 0.016 | 差あり 4/5 |
| G 地理 | 0.034 | 0.032 | 同着 |
決まりどおり「繰り返せた」とします。ただし Gemini の採点では P・D・G とも同着で、箱は K 以外では何も足していません(P の伸びはほとんど外の文から)。
E12:意味選びは3万4千問でも保てるか
E8 の芯は、説明文の頭の語(dog → animal の animal)が「どの意味か」を Gemma に選ばせることです。それまでは37問(35/37)でしか測っていませんでした。
問題。 Princeton WordNet 3.0 の説明文コーパス(Gloss Corpus。説明文の語に人が意味を付けた物)から、頭の語に人の印が1つだけ付き、意味が2〜8個の名詞を選びました。34,402問(頭の語の種類 4,035)。正解が WordNet の最初の意味である割合は 60.5% です。
記号と式。 説明文を
とします(WordNet の順で見せると最初の意味が先頭に来て答えが漏れるので、くじの順
| 方法(34,402問) | 正しさ |
|---|---|
| でたらめ | 31.4% |
| Lesk | 35.9% |
| WordNet の最初の意味 | 60.5% |
| 文の近さ | 67.9% |
| Gemma | 80.9% |
Gemma − 近さは +13.0ポイント(95%の幅 10.3〜16.3)、Gemma − 最初の意味は +20.5(13.7〜28.2)で、差ありです。正解が最初の意味でない13,602問でも 75.0% でした。E8 の 35/37(95%)は高すぎで、たくさんの問題では約8割です。
覚えていただけか(E12-1)。 5,000問で3通り確かめました。
- 定義される語の名前を隠す:81.3% → 80.8%(変わらない)。
- 名前を隠し、説明文と候補を別のAI(Qwen2.5-1.5B-Instruct)で言い換える:69.3%(それでも最初の意味 59.3% より上、+10.0、95%の幅 3.4〜17.0)。
- 説明文の前半を見せて後半を言わせ、同じ順で出た語の割合(
)で「覚えている度合い」を測る:度合いが違っても正しさはほぼ平ら(81.8 / 81.5 / 84.2%)。後半をほぼ言えない問題でも、最初の意味より +23.8ポイント。\mathrm{LCS}(r,\hat r)/|r|
先に決めた2つの決まりが両方成り立ったので、覚えているだけではない、と見ています。ただし言い換えは荒く(頭の語が残ったのは24%)、言い換えで落ちた12ポイントの中身は分けられていません。
外れの近さと、自信での切り替え(E12-2)。 粗い意味のまとまり(CSI、Lacerra ほか 2020)で数え直すと Gemma は 88.9%。外れのうち正解と同じまとまりは41%だけで、外れの多くは近い意味の取り違えではありませんでした。Gemma の自信が低い時だけ最初の意味に切り替えても同着、鎖で迷う段だけ意味を全部たどっても、新しい300問で 0.056 対 0.056 の同着でした。鎖の間違いは、意味選びの迷いからは来ていませんでした。
E13:正解がない時、網でまとめると良いか
網(BP)は、正解が少しある所(E3・E4・E9)で強い学習に負けてきました。まだ試していなかったのが、正解がまったくない場合です。E10 で1つの主張に5種類の手がかりがあるので、新しい Colab なしでまとめ方を比べました。
- 主張:K 一種か(501語×46分類=23,046)、P 部分と全体(9,750)。
- 手がかり:何も見せない Gemma、辞書の説明文を見せる、GenericsKB の文を見せる、自分で書いた文を見せる、文への NLI。どれも Gemma か NLI です。
- 正解は採点だけに使います(Claude の常識の採点、K 558問・P 532問)。
記号と式。 主張
(M2 は同点を M1 で割る)。M3 は Dawid–Skene で、正しい主張の割合
を出します。M4 の網は、物の語
| 方法(AURC、Claude の採点) | K 一種か | P 部分と全体 |
|---|---|---|
| 何も見せない Gemma | 0.124 | 0.199 |
| 一番良い手がかり1つ | 0.097 | 0.089 |
| M1 平均 | 0.077 | 0.084 |
| M2 多数決 | 0.078 | 0.088 |
| M3 Dawid–Skene | 0.097 | 0.198 |
| M4 網 | 0.091 | ― |
| 参考 p-bit 方式(同じ |
0.111 | ― |
- 「K で網が平均と多数決の両方に勝てば、正解なしなら網に出番がある」と先に決めていました。網は平均と同着(網 − 平均 +0.015、95%の幅 −0.017〜+0.048)で、少し悪い向きです。決まりどおり、この研究の形では網の役目は終わりとします。
- P で Dawid–Skene は多数決よりはっきり悪い(0.198 対 0.088)。めったに「はい」と言わない手がかりを信じすぎました。5つの手がかりがみな同じ小さいAIから出ているので、間違いが似ています(Berti-Equille 2026 の指摘と同じ)。
- 正解なしでも、素直に平均するとどの手がかり1つより良くなりました。ただし P では、正解を2割使う E10 の学習(0.039)には届きません。
E14:鎖の行き止まりを、外の文で埋める
E8n で、鎖が正しい主張に「いいえ」と言った82問のうち55問は、点数がほぼ0でした。そのうち40問は、人や動物 →「生き物」「哺乳類」です。止まる理由は、鎖の行き止まり(48。例:granddaughter → child → descendant → progeny のあと辞書の中で輪になる)と、物の語の説明文に頭の名詞がないこと("One who studies zoology"、4)でした。E11-2 で鎖を6段に伸ばしても効かなかったのは、このためでした。
そこで、鎖の全部の点に、主語の頭がその語
です。文を足さなければ E8n・E11-2 と値がぴったり同じになることを毎回確かめました。
| 足す文と判定役 | AURC(700 / 300) | 元の鎖 0.063 / 0.056 と比べて |
|---|---|---|
| GenericsKB を1語3文+Gemma が書いた1文、判定は NLI | 0.140 / 0.085 | 700で悪い(差 +0.077、95%の幅 +0.051〜+0.106) |
| 同じ文、判定は Gemma | 0.124 / 0.081 | 悪い |
| Wikipedia の最初の1文、判定は Gemma、1つの道で1回まで | 0.063 / 0.050 | 同着(埋まったのは52のうち12) |
| Wikipedia の冒頭の10文 | 0.067 / 0.049 | 同着(52のうち14) |
- 行き止まりは埋められます。一般的な文で、正しい「いいえ」52のうち41が「はい」になりました。ただ、間違った「はい」が127増えました。一般的な文は雑音が多く(「Safety」という農薬の文で safety → 植物。「Granddaughters trump even a four-homer win」に NLI は「孫娘は勝利の一種」0.99)、「X is a Y」の形の文は Gemma の判定も通ります。文を何度も継ぐ道は、意味がずれていきます(breadwinner → support → price → mechanism → …)。
- きれいな資料(Wikipedia)は悪くしませんが、埋まる数が少なすぎます。普通の名詞の多くは記事がありません(web、station、player は曖昧さ回避のページ)。
- E14-3 のあとも埋まらない38問を見ると(結果を見てからの見方)、多くは person・human・mammal・organism まで着いているのに、最後の段、NLI の「分類に着くか」(例:「mammal ⇒ living thing」)で落ちていました。外の文の量は、詰まっている所ではありませんでした。これを今、E15 で調べています。
借りた所と、自分で決めた所
- 番号付きの説明文から AI に意味を選ばせる:Meconi ほか(2025)。説明文の語の意味選び:Senseval-3 の課題(Litkowski 2004)。Lesk(1986)。覚えているかの確かめ:Golchin & Surdeanu(2023)、Deng ほか(2024)。粗い意味:Lacerra ほか(2020)。
- 説明文をたどる:Chodorow ほか(1985)、Rigau ほか(1998)。辞書を合わせて抜けを埋める:Véronis & Ide(1991)。一般的な文:GenericsKB(Bhakthavatsalam ほか 2020)。Wikipedia の最初の文から上位語:Kazama & Torisawa(2007)、WiBi(Flati ほか 2014)。AI に自分で文を書かせる:GenRead(Yu ほか 2023)。
- 箱:Vilnis ほか(2018)、Li ほか(2019)。手がかりを学習でまとめる:stacking(Wolpert 1992)、Chauhan ほか(2026)。正解なしのまとめ:Dawid & Skene(1979)、Snorkel(Ratner ほか 2017)、Platanios ほか(2017)、Berti-Equille(2026)。
- 自分で決めたのは、文なしで普通の意味を聞くこと、R3 の重み付け、鎖の組だけで箱を学ぶこと、特徴の組み方、Gemma 自身の答えを網の決まりにすること、鎖の全部の点に文を足して親を判定役に選ばせること、継ぎ足しの上限、判定の決まりです。
式とコードの対応は、GitHub の README の E11〜E14 の「計算のしかた」に表にしてあります。
読み方
- 小さい AI には、狭い役目(語の意味を選ぶ)だけをさせると働く、ということが、E8 の37問から34,402問に増やしても保てました。
- 一方で、「1つの仕組みを強くする」案(深い鎖、箱、入り口の絞り込み、行き止まりの継ぎ足し、網)は、どれも単独では効きませんでした。
- 効いたのは、Gemma の答え・辞書の鎖・外の文・箱を全部並べて、どれをどれだけ信じるかを学習に任せることでした。機械学習ではよく知られた形で、今回はそれが小さい AI の点検でも、4種類の問いのうち3つで見られた、ということです。部品はどれも新しくありません。
- 網(BP)は、正解がある時もない時も主役になりませんでした。p-bit 方式と BP の正しさも、一度も分かれていません。p-bit の役目は、正しさではなく速さや電力の側にあると考えています(この実験からは何も言えません)。
言えないこと
- LLM は Gemma-2 2B だけ、英語だけです。
- 常識の正解は Claude(主)と Gemini(副)の判定で、人ではありません。E11-3 の P・D は Gemini の採点では同着でした。
- 全部入りの学習には、正解付きの問題が要ります。正解なしでは使えません。E11-2 の新しい300問での勝ちは、決まりのぎりぎりです。
- E12 は WordNet の説明文と意味で、E8 の辞書(Wiktionary)ではありません。覚えている分がまったくないとも言えません。
- E13 の5つの手がかりは、1つの小さいAI(と NLI 1つ)から出た物です。
- E14 の1,000問は前に使った問題で、4通り試してどれも同着か負けでした。
再現
cd analysis
python e11/e111_analyze.py ../data/E8n_chains_nli.json ../data/E11/E11-1_results.json out.json
python e12/e12_analyze.py ../data/E12/e12_items_all.json.gz ../data/E12/e12_local.json.gz ../data/E12/E12_results.json.gz out.json
cd e13 && python e13.py out.json
E11-2・E11-3・E14 のコマンドは README の「計算をやり直す」にあります。E12・E13・E14-1〜E14-3 は、公開したファイルから流し直すと保存した結果とぴったり一致します。E11-2 と E14 は、CPU での箱の学習が回ごとに少しずれるので数字はわずかに変わりますが、判定は同じでした。
参考文献
- Meconi ほか "Do Large Language Models Understand Word Senses?", EMNLP 2025. https://arxiv.org/abs/2509.13905
- Litkowski "Senseval-3 task: Word-Sense Disambiguation of WordNet Glosses", Senseval-3 2004.
- Lesk "Automatic Sense Disambiguation Using Machine Readable Dictionaries", SIGDOC 1986.
- Golchin・Surdeanu "Time Travel in LLMs: Tracing Data Contamination in Large Language Models", 2023. https://arxiv.org/abs/2308.08493
- Deng ほか "Investigating Data Contamination in Modern Benchmarks for Large Language Models", NAACL 2024. https://arxiv.org/abs/2311.09783
- Lacerra ほか "CSI: A Coarse Sense Inventory for 85% Word Sense Disambiguation", AAAI 2020.
- Miller ほか "A Semantic Concordance"(SemCor), HLT 1993.
- Chodorow・Byrd・Heidorn "Extracting Semantic Hierarchies from a Large On-Line Dictionary", ACL 1985.
- Rigau・Rodríguez・Agirre "Building Accurate Semantic Taxonomies from Monolingual MRDs", COLING-ACL 1998. https://arxiv.org/abs/cmp-lg/9806015
- Véronis・Ide "An Assessment of Semantic Information Automatically Extracted from Machine Readable Dictionaries", EACL 1991.
- Bhakthavatsalam ほか "GenericsKB: A Knowledge Base of Generic Statements", 2020. https://arxiv.org/abs/2005.00660
- Kazama・Torisawa "Exploiting Wikipedia as External Knowledge for Named Entity Recognition", EMNLP-CoNLL 2007.
- Flati ほか "Two Is Bigger (and Better) Than One: the Wikipedia Bitaxonomy Project", ACL 2014.
- Yu ほか "Generate rather than Retrieve"(GenRead), ICLR 2023. https://arxiv.org/abs/2209.10063
- Vilnis ほか "Probabilistic Embedding of Knowledge Graphs with Box Lattice Measures", ACL 2018. https://arxiv.org/abs/1805.06627
- Li ほか "Smoothing the Geometry of Probabilistic Box Embeddings", ICLR 2019. https://openreview.net/forum?id=H1xSNiRcF7
- Wolpert "Stacked Generalization", Neural Networks 1992.
- Chauhan ほか "When Do Supervised UQ Ensembles Improve LLM Hallucination Detection?", 2026. https://arxiv.org/abs/2608.24492
- Dawid・Skene "Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm", Applied Statistics 1979.
- Ratner ほか "Snorkel: Rapid Training Data Creation with Weak Supervision", VLDB 2017. https://arxiv.org/abs/1711.10160
- Platanios・Poon・Mitchell・Horvitz "Estimating Accuracy from Unlabeled Data: A Probabilistic Logic Approach", NeurIPS 2017.
- Berti-Equille, 2026. https://arxiv.org/abs/2611.04805
- Geifman・Uziel・El-Yaniv "Bias-Reduced Uncertainty Estimation for Deep Neural Classifiers", ICLR 2019. https://arxiv.org/abs/1805.08206
- Laurer ほか DeBERTa-v3-large-mnli-fever-anli-ling-wanli. https://huggingface.co/MoritzLaurer/DeBERTa-v3-large-mnli-fever-anli-ling-wanli
- Gemma Team "Gemma 2: Improving Open Language Models at a Practical Size", 2024. https://arxiv.org/abs/2408.00118
Discussion