📖

小さいLLMの答えの前に文を置くと、部分と全体の問いで効いた――自分で書いた文でもほぼ同じ(E10)

に公開

前回(E9)は、小さなAI(Gemma-2 2B)の「X は C の一種か」という答えを少しだけ辞書で確かめ、ルールの網で広げても、強い学習には勝てないことを書きました。
https://zenn.dev/mst_design2020/articles/804eba1639b569
効いていたのは網ではなく、外の資料で確かめることと、Gemma に語義を選ぶ役目だけをさせることでした。

今回は、その「外から確かめる」やり方が、ほかの種類の問いでも効くかを4段で調べました(E10〜E10-3)。

  • E10:E8 の辞書の鎖(Wiktionary の説明文をたどる、語義は Gemma が選ぶ)を、部分と全体・病気・地理の問いに使う。
  • E10-1:E10 の弱点を、手書きの語の一覧なしで直し、決まりで選んだ新しい物で確かめ直す。
  • E10-2:鎖をたどる代わりに、問いの前に文を見せる。辞書の説明文と、一般的な文の資料(GenericsKB)。
  • E10-3:Gemma が自分で書いた文でも効くか。同じ資料を「一種か」の問いでも試す。意味のずれた文を除くと効くか。

結論を先に書きます。

  • 部分と全体の問い(「A wheel is a part of a car.」)では、両方の語を含む一般的な文を問いの前に置くと、Gemma の答えが良くなりました(誤りの面積 AURC 0.068 → 0.039、5回中5回)。別の主張の文を見せる対照では 0.132 と悪くなるので、効いたのは文の中身だと考えています。
  • Gemma が自分で書いた文でも、ほぼ同じだけ効きました(0.044、外から探した文と同着)。「外の資料でないとダメ」とは言えません。
  • 語の意味だけを書く辞書の説明文は、効きませんでした(0.088、少し悪い)。
  • 「一種か」の問いでは、どの資料を見せても Gemma の自信と同着でした。「問いの種類に合った資料を選ぶと効く」とも言えません。
  • 最初の E10 の良い結果(鎖が部分と全体・地理で効く)は、決まりで選んだ新しい物では繰り返せませんでした。 E10 は、手で選んだ全体の語(car・house など)と手書きの一覧を使っていました。成り立たなかった結果として載せます。

コードと結果は GitHub にあります。
https://github.com/mst-design2020/akane-e2-experiments (analysis/e10/、plans/E10_*.md〜plans/E10-3_*.md、data/E10/、results/E10/、Colab は colab/E10*.ipynb)。Wiktionary の説明文は CC BY-SA なので、リポジトリからは抜いてあります(ノートが取り直します)。

問いと物差し

  • AI は Gemma-2 2B(Yes−No の logit)。NLI は DeBERTa-v3-large(E6〜E9 と同じ)。辞書は英語版 Wiktionary のダンプ(2026-11-10)。
  • 問いは3種類で、組は全部聞きます(候補を選びません)。
    • P 部分と全体:「A wheel is a part of a car.」正解は WordNet の部品の関係。
    • D 病気の分類:Human Disease Ontology の22分類。
    • G 地理:市 × 国連 M49 の22地域。
  • 主な採点は常識です。どの方法の値も見る前に、Claude が問いの種類ごとに 600 個を判定しました(半分はでたらめ、半分は Gemma か辞書が「はい」と言った物。「どちらとも言えない」は除く)。E10-1 からは Gemini も同じ物を判定し、一致は P 86%・D 99%・G 97% でした。人の判定ではありません。WordNet などの正解表での採点は副です。
  • AURC(risk–coverage 曲線の下の面積、小さいほど良い)。物ごとに5つに分け、2割で調整・8割で評価、5回。「差あり」は、相手の値の 20% 以上の差が5回中4回以上のとき(E9-3 と同じ)。
  • 計画はどれも結果を見る前に固定し、変えた所は記録しました。E10-1 からは、ノートを渡す前に毎回、方法のコードの中の文字列の一覧を機械で洗い出し、手書きの語の一覧がないことを確かめています(analysis/e10/e101/scan.py)。

計算のしかた

記号。 問いの文を q(例「A wheel is a part of a car.」)、物の語を x、分類の側の語を w(P は全体の語、D は分類名、G は地域名)とします。\ell(\cdot) は、与えた文での Gemma の Yes−No の logit、e(\text{前提}\Rightarrow\text{仮説}) は NLI の含意の確率、y は正解です。F は問いの前に置く文の並び(最大5つ)です。

Gemma の答え(①・⑩・⑪g・⑫ と対照)。 どれも同じ形で、文の並び F だけが違います。

\ell_m=\ell\big(\text{Facts: }F_m(x,w)\ \text{/ Using these facts and your own knowledge, is the following statement true? }q\big)
\hat p_m=\sigma(\alpha_m\,\ell_m+\beta_m)

(\alpha_m,\beta_m) は調整用の2割でロジスティック回帰をかけて決めます。① は文を置かずに聞いたもの(E4〜E10-1 と同じ聞き方)です。

  • ⑩:x と w の Wiktionary の説明文を、ページの順に3つずつ(形は「Dictionary definitions:」)。
  • ⑪g:一般的な言い方の文を集めた GenericsKB(約340万文。そこから部分の組を取り出した hasPart KB もあります)のうち、x と w の両方を(複数形なども含めて)含む文を、GenericsKB の点数の高い順に最大5つ。見つからなければ「(no facts found)」。
  • ⑫:Gemma に「x と w の両方が出てくる、短い一般的な事実の文を5つまで書いて」と頼み、その文を ⑪g と同じ形で見せる。
  • ⑩s・⑪s(対照):別の物・別の主張の文に入れ替えて見せる。
  • ⑪f:⑪g の文のうち、Gemma が「この文で x と w は問いと同じ意味で使われている」に Yes と答えた文だけ。

NLI で判定(⑪n)。

\hat p_{⑪n}=\begin{cases}\max_{f\in F_{⑪g}} e(f\Rightarrow q) & F_{⑪g}\neq\emptyset\\ \hat p_{①} & \text{それ以外}\end{cases}

学習(C++・X++)。 C++ は Gemma の答えだけの特徴(\ell_{①}、同じ物のほかの分類への \ell の最大・平均・ばらつき、その中での順位、「はい」の数、語のよく使われる度合い、分類)で勾配ブースティング(300回、学習率 0.05)。X++ は、それに ⑩・⑪g の \ell、⑪n の値、文が見つかったか、見つかった文の数を足したものです。

物差し。 答え [\hat p>0.5]、確かさ \max(\hat p,1-\hat p) の順に上から k 個答えたときの誤り率を r_k として \mathrm{AURC}=\frac1N\sum_{k=1}^N r_k。

借りた所と独自の所。 文を問いの前に置いて答えさせるのは検索で補う生成の考え(Lewis ほか 2020 など)、AI 自身に文を書かせてから答えさせるのは GenRead(Yu ほか 2023)・Liu ほか 2022、一般的な文の資料は GenericsKB(Bhakthavatsalam ほか 2020)、NLI の使い方は E6 と同じ、AURC は Geifman ほか 2019 の考えです。聞き方の文、文の選び方(両方の語を含む、点数の高い順に5つ)、対照の作り方、特徴の組み方、判定の決まりは自分で決めました。式とコードの対応は analysis/e10/e102/e102_analyze.py(methods)と e102_core.py・e103/e103_core.py(聞き方の文)です。

E10:辞書の鎖は、ほかの問いでも効くか

E8 の辞書の鎖(説明文をたどり、途中の語の語義は Gemma が選ぶ)を、P・D・G に使いました。

方法(常識の採点、AURC) P 部分と全体 D 病気 G 地理
① Gemma の自信 0.047 0.025 0.060
③ 説明文1段 0.026 0.034 0.044
⑥D 鎖 0.033 0.033 0.045
C++ 木の学習(Gemma だけ) 0.048 0.017 0.027
⑧D++ 木の学習+辞書の特徴 0.028 0.013 0.018
  • P と G では、鎖が自信より良く見えました。病気では自信の方が良い結果でした。鎖が1段より良くなる所はありませんでした。
  • ただし、この回は手書きの一覧(たどる頭の名詞、外す部分の語、病気の部位名)と、手で選んだ全体の語 30 個(car・house・body など)を使っていました。 点検で気づき、E10-1 で確かめ直しました。

E10-1:一覧なしで、新しい物で確かめ直す

E10 で見つかった弱点(部分の説明文が全体の語に届かない、上の種類にだけ届く、向きの取り違え、辞書にない組み立ての病名)の直し方を、結果を見る前に決めました。手書きの一覧は全部やめ、全体の語は決まりで選んだ新しい 30 個(WordNet の名詞で、よく使われ、部品が多い物から種で選ぶ)、新しい病気、新しい市で測りました。

  • 一覧をなくしても、結果は変わりませんでした(3つとも同着)。
  • 直し方は、かえって悪くしました(P・D で5回とも)。
  • E10 の効き目は、新しい物では繰り返せませんでした。 1段 対 自信は P で 0.076 対 0.068 で同着、G も同着、D は自信の方が良い。辞書の特徴を足した木の学習も、3つとも木の学習だけと同着でした。
  • 理由の見込み(結果を見てから数えたもので、確かめてはいません):決まりで選んだ全体では、部分の説明文が全体の語に届くのは、正しい組の 2% だけでした。手で選んだ car・house は、説明文に出てきやすい語だったと考えています。
  • Gemini の判定で採点しても、同じ結論でした。

E10-2:問いの前に文を見せる

鎖でたどるのをやめ、文をそのまま問いの前に置きました。主な確かめは E10-1 の問題(26,316 主張)です。

方法(P 部分と全体、常識の採点) AURC
① 自信 0.068
⑩ 辞書の説明文 0.088(① が良い 4/5)
⑪g 一般的な文 0.039(① より良い 5/5)
⑪s 対照(別の主張の文) 0.132
⑪n 同じ文を NLI で判定 0.097
C++ 木の学習(Gemma だけ) 0.065
X++ 木の学習+文の特徴 0.042(C++ より良い 5/5)
  • 効くのは身近な語だけでした(身近な語 0.073 → 0.035、珍しい語 0.057 → 0.062)。珍しい語では、両方の語を含む文がほとんど見つかりません。Mallen ほか(2023)は、あまり知られていない物ほど資料を見せると効くと報告していますが、今回は珍しい語に見せる文そのものがありませんでした。
  • ① に「文が見つかったか」だけを足すと 0.060 です。文があること自体ではなく、文の中身が効いたと考えています。
  • E10 の問題(手で選んだ全体)でも同じ向きでした(0.047 → 0.035)。
  • Gemini の判定では差 12% で決まりに届かず同着、WordNet の採点でも同着でした。
  • 病気と地理では、両方の語を含む文がほとんど見つかりませんでした。

E10-3:自分で書いた文/「一種か」/意味のずれた文

E10-2 の結果を書く前に、穴が3つあると考えて確かめました。

(1) Gemma に自分で文を書かせる(⑫)。 Abdallah ほか(2025)は、Gemma-2 2B を含む小さいモデルの開かれた質問応答で、AI が自分で書いた文が検索した文より良いことがあると報告しています。

方法(P、常識の採点) AURC
① 自信 0.068
⑪g 一般的な文 0.039
⑫ 自分で書いた文 0.044(⑪g と同着、① より良い 5/5)

(2) 同じ資料を「一種か」でも試す(K)。 E4-2 の物 501 語 × 46 分類 = 23,046 主張、E9-3 の常識 600 個で採点しました。

方法(K「一種か」、常識の採点) AURC
① 自信 0.095
⑩ 辞書の説明文 0.099
⑪g 一般的な文 0.106
⑫ 自分で書いた文 0.075(良いのは 2/5 だけ)
⑪n NLI 0.083
  • どれも ① と同着でした。両方の語を含む一般的な文は、主張の 12%(本当の主張でも 30%)にしか見つかりません。
  • 結果を見たあとの参考:珍しい語だけ、また WordNet の採点では、⑫ が ① に5回とも良い結果でした(0.070 対 0.094、0.011 対 0.016)。
  • E6 では説明文を問いに入れると「一種か」が良くなりました(0.154 → 0.124)。ただ E6 の 700 個は自信ある誤りの多い難しい物でした。全部の主張では、説明文を入れても良くなりませんでした。

(3) 意味のずれた文を除く(⑪f・⑪nf)。 見つかった文のうち残ったのは 24% だけで、⑪f 0.045 対 ⑪g 0.039、⑪nf 0.089 対 ⑪n 0.097 と、どちらも同着でした。

E10-3 の前に決めた5つの「言えたら書く」主張(外の資料が要る、問いに合った資料が効く、意味のずれを除くと効く、など)は、どれも成り立ちませんでした。

読み方

  • 部分と全体の問いでは、答えを書いた文を問いの前に置くと、小さい AI の答えが良くなります。 その文は外から探しても、AI が自分で書いても、ほぼ同じでした。
  • 語の意味を書くだけで関係を書かない辞書の説明文は、効きませんでした。E8 で辞書の鎖が効いたのは、「一種か」の問いでは説明文の頭の名詞がちょうど答えになっていたためだと考えています。
  • 鎖でたどるやり方が P・G で効いて見えたのは、手で選んだ全体の語のおかげでした。決まりで物を選ぶこと、手書きの一覧を使わないことの大切さを、改めて感じました。
  • 今の見立てでは、この研究で残っている芯は「小さい AI に得意な役目だけをさせる(語義を選ぶ)」ことと「答えに関係する文を前に置く」ことです。どちらも先行研究に近く、新しさは小さいと考えています。

言えないこと

  • LLM は Gemma-2 2B だけ、英語だけ。効いたのは部分と全体の問いで、身近な語だけです。
  • 常識の正解は Claude(主)と Gemini(副)の判定で、人ではありません。600 個の抜き出しで、半分は Gemma か辞書が「はい」と言った物から選んでいます。
  • E10-2 の部分と全体の効き目は、Gemini の判定と WordNet の採点では決まりに届かず同着でした。
  • GenericsKB の文は正しいとは限りません(9割ほど)。自分で書いた文の正しさは数えていません。
  • E10 の数字は手で選んだ物と手書きの一覧によるもので、主張には使いません。

再現

cd analysis/e10
# E10-2(部分と全体などの比べ)
python e102/e102_analyze.py <E10-1_items.json> <E10-1_results> <E10_items.json> <E10_gemma.json.gz> <E10-2_results> out.json <cs_N.json> <cs_O.json>
# E10-3
python e103/e103_analyze.py <E10-1_items> <E10-1_res> <E10-2_res> <E10-3_res> <E42_gemma-2-2b-it.json> out.json <cs_N>

ファイルの置き場所と正確な引数は README の「計算をやり直す」にあります。Gemma・NLI の出力は Colab(L4)で取り、data/E10/ に置いてあります。比べは CPU だけで回ります。

参考文献

Discussion