📖

小さいLLMの自信ある誤りを辞書の説明文で直す――語義選びだけLLMにさせると取り違え72%→10%

に公開
2026/11/13

前回(E4・E5)は、小さなAI(Gemma-2 2B)の「X は C の一種か」という答えを網にまとめ、ルールで確かめました。
https://zenn.dev/mst_design2020/articles/545424bd00f46f
ルールでは、Gemma が強い自信で言い切る誤りはあまり直せませんでした(例:「beagle is a type of sport」に強く Yes)。

今回は外の資料として Wiktionary の説明文 を使い、3段で調べました。

  • E6:物の語 X の説明文を見せると、自信ある誤りがどれだけ直るか。正しい答えをどれだけ壊すか。
  • E7:説明文の頭の名詞(genus)を3段までたどる(granddaughter → daughter → person → mammal)。
  • E8:鎖の途中の語の 語義を1つ選ぶ 方法を4通り比べ、決め方に使っていない新しい300問で確かめる。

結論を先に書きます。

  • 説明文で、自信ある誤り81問の約4分の3が直りました(外の NLI で判定して 75%、説明文をプロンプトに入れて聞き直すと 70%)。
  • ただし、遠回りの正解を壊します。WordNet では「違う」だが常識では正しい68問の 40% を「違う」にしました(「granddaughter is a type of mammal」など。説明文は直接の上位語しか書かない)。
  • 鎖でたどると壊すのは 29% に減り、正しい答え177問への「いいえ」も 24%→6% に減りました。ただ、分類に着いた2段以上の道の 64% が途中で語義を取り違えていました(person の「体」の語義を通って body part に着く、など)。
  • Gemma に「この説明文の中で、この語はどの語義か」だけを選ばせると、取り違えは 4% に下がりました。(11/11 訂正:手書きの語の一覧なしで確かめ直すと、取り違えは 72% → 10%) 単純な「一番強い道の掛け算」でも、直り 75% を保ったまま、正しい答えへの「いいえ」は 8%、AURC 0.047 でした(一覧なしでは 0.063)。
  • 新しい300問でも、Gemma の自信だけ(AURC 0.118)よりはっきり良い(0.039)。ただし説明文1段だけの NLI(0.055)との差は、300問では言い切れませんでした。
  • 網(loopy BP)は今回も出番がありませんでした。 両立しない分類への NLI を罰として足しても、一番強い道の掛け算に5回とも負けました。

図:E8の主な結果(AURC、小さいほど良い)

コードと結果は GitHub にあります。
https://github.com/mst-design2020/akane-e2-experiments (analysis/e6/・analysis/e8/、plans/E6_*.md・plans/E7_*.md・plans/E8_*.md、results/E6/〜results/E8/、Colab は colab/E6_dictionary_gemma.ipynb・colab/E7_chain_definitions.ipynb・colab/E8_sense_choice.ipynb)。Wiktionary の文は CC BY-SA なので、リポジトリからは抜いてあります(ノートが取り直します)。

物差しと問題

  • E5 と同じ、常識で見直した700問(「X is a type of C.」)。正解は Claude と Gemini に別々に常識で判定させたもの(人の判定ではない)。主な採点は Claude の判定、Gemini の判定でも同じ向きかを見ます。
  • 内訳で使う群:自信ある誤り=Gemma が Yes で常識では違う81問、常識で正しいG=WordNet では違うが常識では正しい68問、T=正しい答え177問。
  • AURC(risk–coverage 曲線の下の面積、小さいほど良い)。名詞ごとに5分割、2割を調整用・8割を評価用で5回。判定は実験前に固定し、AURC の差 0.02 以上で5回中4回以上同じ向きなら差あり、率は10ポイント以上で差あり。
  • NLI は MoritzLaurer/DeBERTa-v3-large-mnli-fever-anli-ling-wanli。前提 "X" means: <説明文>、仮説 X is a type of C. で、含意の確率を使います。

計算のしかた

記号。 X・C は問いの物の語と分類、\ell は Gemma の Yes−No の logit、e(\text{前提} \Rightarrow \text{仮説}) は NLI の含意の確率です。d_k は X の k 番目の語義の説明文、点 n=(w,j) は語 w の j 番目の語義(説明文 d_n、頭の名詞 g(n))、q_n は段の確かさ、a_n は着き、\mathrm{ch}(n) は次の点、z は網の 0/1 の変数、\hat p は方法が出す「正しい」の確率です。前提は "w" means: <説明文>、仮説は W is a type of <語>. です。

1段だけ(③)。

s_1 = \max_k \; e\big(\text{"X" means: } d_k \Rightarrow \text{X is a type of C.}\big)

鎖の点。 q_n = e(d_n \Rightarrow \text{W is a type of } g(n).)、a_n = 1(w が C そのもの)または e(d_n \Rightarrow \text{W is a type of C.})。次の点 \mathrm{ch}(n) は、A では g(n) の最初の4語義ぜんぶ、B・C・D では選んだ1語義です(D は番号トークンの logit の softmax で一番高いもの)。

一番強い道(⑥)。

S(n,t)=\begin{cases} a_n & a_n=1 \text{ または } t=0\\ \max\big(a_n,\ q_n \max_{c\in \mathrm{ch}(n)} S(c,t-1)\big) & \text{それ以外}\end{cases} \qquad s_6=\max_k S\big((X,k),3\big)

網(⑦、E8 は打ち消し入り)。 点ごとに z_n\in\{0,1\}、根 z_R(X は C の一種)を置き、

P(z)\propto \exp\Big(b z_R+\sum_n u_n z_n\Big)\prod_{(p\to c)}(1-\varepsilon w_{pc})^{[z_p=0,\ z_c=1]},\qquad u_n=\beta\,\mathrm{logit}(a_n)+b-\gamma\,\nu_n

つながりは根→X の各語義(w=1)と鎖の段(w=q_p)。\nu_n は C と両立しない大きなまとまり G への e(d_n \Rightarrow \text{W is a type of } G.) の最大です。P(z_R=1) を loopy BP(ダンピング 0.5、40回)で出し、(\beta,b,\varepsilon) と \gamma は調整用の分の対数損失で選びます。

物差し。 答え [\hat p>0.5]、確かさ \max(\hat p,1-\hat p) の順に上から j 個答えたときの誤り率を r_j として \mathrm{AURC}=\frac1N\sum_{j=1}^N r_j。

借りた所と独自の所。 段の点の掛け算は Entailer 2022、頭の名詞をたどるのは Chodorow 1985・OntoLearn 2013、語義選びは B が Kovács 2023、C が McIntosh 2009、D が Meconi 2025・ConSeC 2021、網と BP は Bansal 2014、打ち消しは Jiang 2012、AURC は Geifman 2019 の考えです。前提・仮説の文の形、網の因子の形と打ち消しの項 \gamma\nu_n、8つのまとまりの表、D の聞き方、判定の決まりは自分で決めました。式とコードの対応表は GitHub の README(E6〜E8の計算のしかた)にあります。

コードが式どおりかは analysis/e8/check_formulas_e8.py で確かめました。一番強い道は道を全部数え上げた値と 4,000 組で一致し、網は点13個以下の問いで、全部の組み合わせの数え上げと比べて木の形で一致、輪のある形で最大 0.015 のずれでした。

E6:説明文を1段だけ見せる

説明文は物の語だけ:S1 WordNet、S2 Wiktionary の英語の名詞の語義すべて(本命、599語中591語)、S3 Wiktionary の1番目の語義。方法は ①自信、②説明文をプロンプトに入れて聞き直す、③外の NLI(一番含む語義)、④Gemma の答えと語義をつなぐ網、⑤特徴+ロジスティック回帰。

方法(S2) 自信ある誤りが直る(81) T に「いいえ」 常識で正しいGを壊す AURC
① 自信 0% 33% 4% 0.154
② プロンプトに入れる 70% 24% 26% 0.124
③ 外で NLI 75% 24% 40% 0.070
④ 網 20% 31% 8% 0.098
⑤ 特徴+LR 68% 24% 24% 0.079
  • ②と③は 70% 対 75% で同着。どちらも自信の高い誤りほど直りにくい(③:自信の低/中/高で 89/81/56%)。Gemma が文を無視するせいだけでなく、組そのものが難しい(「matchbox is a type of toy」など)。
  • 結果を見たあと(参考):NLI だけで並べるのが AURC 一番(0.070)で、Gemma の自信を足すとかえって悪くなりました。資料が段落だった E3 では外の NLI が負けましたが、今回は説明文が主張に直接答えています。(11/11追記:勾配ブースティングの学習(0.067)とはほぼ同じ)

E7:genus を3段たどる

物の語の語義は E6 のもの、その先の語は Wiktionary の全部入りダンプ(2026-11-10、2,339語)から。頭の名詞は spaCy の最初の名詞句の主辞に、少しの決まりを足して取ります(「one who …」→ person、「a kind of X」→ X など)。各段も NLI で "w" means: <説明文> ⇒ W is a type of g.、着きは NLI か分類の語そのもの。途中の語は最初の4語義を全部たどります。

方法:③1段だけ、⑥一番強い道の段の掛け算(Entailer 型)、⑦網(点=「この語は C の一種」、段に沿って含意の因子、loopy BP、強さ3つを調整用で選ぶ)、⑧E6 の特徴+鎖の値で LR。

方法 直る(81) 常識で正しいGを壊す(68) T に「いいえ」(177) AURC
③ 1段だけ 75% 40% 24% 0.070
⑥ 一番強い道 64% 29% 6% 0.087
⑦ 網(BP) 83% 47% 28% 0.083
⑧ 特徴+鎖で LR 68% 27% 23% 0.048
  • 網と掛け算は同着。網は段を弱く見る設定(β 0.25 など)を選び、1段だけに近い動きになりました。
  • 分類に着いた2段以上の道を50本見ると、30本が途中で語義を取り違えていました。一番多いのは person の珍しい語義を通って body part・organ に着く道。device →「企み」、child →占いのカード、もありました。網は道の強さしか見ず語義を見ないので、これを見分けられません。
  • 鎖を信じてよいかは、網より学習で決めるほうが良かった(⑧ 0.048、E6 の⑤ 0.079 に 5/5)。Liang ほか 2017 と同じ向きです(11/11訂正:強い学習と比べると同着。冒頭の訂正を参照)。

E8:途中の語の語義を選ぶ

ダンプを読み直し、{{lb|en|...}} の印(obsolete・archaic・rare・slang など)を語義ごとに残しました。途中の語は8語義まで持ち、鎖の点を「語+語義番号」にしました。語義の選び方は4通り:

  • A:選ばない(最初の4語義を全部、E7 と同じ)
  • B:印のない最初の語義(Kovács ほか 2023 型)
  • C:1つ前の説明文に一番近い語義(all-mpnet-base-v2 の cos、OntoLearn・McIntosh 2009 型)
  • D:Gemma に選ばせる(Meconi ほか 2025・ConSeC 型)。分類 C は見せません。

D のプロンプト(番号の logit の softmax で選ぶ):

Dictionary definition of "<w>": <説明文>

In this definition, which meaning of the word "<g>" is used?
1. <語義1>
2. <語義2>
...

Answer with the number only.

打ち消しとして、主張の分類と両立しない8つの大きなまとまり(animal・plant・food・man-made object など)への NLI を、網の罰 γ として入れました。

さらに、E4-2 の主張から700問に出ない語で 新しい300問(G/H/E/T の割合は同じ)を作り、方法とパラメータはすべて700問で固定してから評価しました。新しい300問の正解は Claude が語と分類だけを見て付けました。

方法(700問) 直る(81) 常識で正しいGを壊す(68) T に「いいえ」(177) AURC Claude AURC Gemini
① 自信 0% 4% 33% 0.154 0.149
③ 1段だけ 75% 40% 24% 0.069 0.084
⑥ 一番強い道 A 64% 29% 6% 0.087 0.078
⑥ 一番強い道 B / C 75% / 74% 35% / 35% 19% / 15% 0.053 / 0.055 0.062 / 0.063
⑥ 一番強い道 D 75% 34% 8% 0.047 0.056
⑦ 網+打ち消し D 83% 49% 29% 0.091 0.075
⑧ 特徴+鎖で LR A 67% 28% 23% 0.050 0.057
⑧ 特徴+鎖で LR D 72% 27% 14% 0.037 0.045
  • 取り違え(分類に着いた2段以上の道。どの方法の道かを伏せて Claude が判定):A 32/50(64%)、B 2/18、C 5/39、D 2/48(4%)。(11/11 訂正:一覧なしでは A 72% → D 10%)
  • 結果を見たあとの直接の確かめ:語義選びの場面を無作為に40個取り、Claude が候補から正しい語義を先に決めて照合。判定できた37個で、Gemma 35、C 24、B 24、いつも最初の語義 24。最初の語義の 65%(24/37)は Meconi ほか 2025 の数字と同水準です。
  • 主な比べ1(⑧A 対 ⑧D):0.050 対 0.037。5回とも D が良いが差は 0.011〜0.013 で(一覧なしでは ⑧D 0.056)、決めておいた 0.02 に届かず同着。
  • 主な比べ2(⑥D 対 網+打ち消し):網が 5/5 で負け。調整用で選んだ γ は25回中23回で0でした。

新しい300問(すべて700問で固定した設定):

方法 AURC
① 自信 0.118
③ 1段だけ 0.055
⑤ E6 の特徴+LR 0.055
⑥ 一番強い道 D 0.043
⑧ 特徴+鎖で LR D 0.039
  • ①との差 0.079(語で取り直した 95% 区間 0.043〜0.121)。
  • ③との差 0.017(−0.007〜0.040)で、300問では言い切れません。新しい300問は700問より易しかったようです(③の直りが 87%)。

読み方

  • Gemma は「X は C の一種か」では自信を持って誤るのに、「この文の中でこの語はどの語義か」はよく当てました。判断の全体を任せず、得意な小さな役目(語義選び)だけをさせ、判定は外の NLI と鎖で行う分け方が、今回いちばん良く働きました。
  • 多段の説明文の鎖での語義の取り違えは 1990年代から知られた難所で(Rigau ほか 1998 は1段約8割の正しさを引用)、3段なら 0.8³ ≒ 5割と、E7 の 6割の取り違えとほぼ合います。
  • 網(BP)は、E4 から通して、ルールや鎖の強さだけを見る限り単純な方法に勝てていません。今回効いたのは語義の選び方で、網の計算ではありませんでした。

言えないこと

  • LLM は Gemma-2 2B だけ、主張は「X is a type of C」の形だけ、英語だけ。
  • 正解は2つの LLM の常識判定で、人ではありません。新しい300問の正解、取り違えの判定、語義の確かめは Claude だけです。
  • 新しい300問で1段だけの NLI に勝ったとは言えません。
  • D は A より、常識で正しいGを壊す割合が少し高い(29%→34%)。
  • 取り違えの割合は、方法ごとに数えた道の数が違います(18〜50本)。
  • 語義の確かめ(40個)は結果を見たあとに足したものです。

再現

cd analysis/e6
python e6_analyze.py ../../data/E6_answers_gemma-2-2b-it.json out6.json                                   # E6(数秒)
python e7_analyze.py ../../data/E7_chains_nli.json ../../data/E6_answers_gemma-2-2b-it.json out7.json      # E7(約10分)
cd ../e8
python e8_analyze.py ../../data/E8_chains_nli.json out8.json                                                # E8(約5分)

Gemma・NLI の出力は Colab(L4)で取りました。E8 は約1時間半です。

参考文献

一般向けの説明は note に書きました:https://note.com/mst_design2020/n/nde0fb5abc0aa

Discussion