
【論文渉猟】AIが多用する「むしろ」と、名前のない談話の層──否定されたそれは、否定される前からあったのか
◆今回の論文◆
Chengzhi Zhong, Fei Cheng, Qianying Liu, Junfeng Jiang, Zhen Wan, Chenhui Chu, Yugo Murawaki, Sadao Kurohashi, "Beyond English-Centric LLMs: What Language Do Multilingual Language Models Think in?" (arXiv, 2024年8月20日)
概要:日本語を扱う三種類の大規模言語モデルについて、中間層の表現を語彙の空間へ戻したときにどの言語の答えが高い確率を持つかを比較した研究。英語中心のモデル、日本語を後から学習したモデル、最初から英日を均等に学習したモデルで、内部の言語的な偏りが異なることを報告する。
生成AIに日本語を書かせると、必ずどこかで出てくる語があります。「むしろ」です。これは何々ではない、むしろ何々だ。文法は正しく、辞書の記述からも外れていません。それでも引っかかる。しかもモデルを変えても、話題を変えても、時期を変えても、同じ形で出てきます。
富良野は、その語を外してみることから始めます。外しても違和感が残ると分かったとき、観察する対象そのものが変わります。Phronaのほうは、自分の耳が拾ったものを手放しません。原因ではないなら、いったい何の目印だったのか。
二人が行き着くのは、文章の形が、その文章が何を論じているかとほとんど関係なく決まっているのではないか、という疑いです。日本語の文体統計は、人間が書いた文章とAIが書いた文章を99.8パーセントの精度で見分けます。一方、同じ研究で人間の正答率は3割ほどでした。見えているのに、語れない。
途中で厄介な結果が出てきます。英語に近い言語のほうが、遠い言語より翻訳調になりやすい。原因を英語のせいにして終われなくなったところから、話はもう一段進みます。
流暢な日本語を書くことと、日本語で文章を組み立てることは、同じなのでしょうか。私たちは前者を測る道具をいくつも持っていて、後者を測る単位をまだ持っていません。
小さな引っかかりから始めて、評価の単位が足りないという場所まで歩いていく、そんな対話です。
否定されるまでは無かったもの
Phrona: AIを使っているといつも気になっている語があるんです。「むしろ」という語なんですが、AIに文章を書かせると、必ずどこかで出てくる。しかも同じ形で出てくる。これは何々ではない、むしろ何々だ。この形です。
富良野: 頻度の話ですか。それなら単純で、学習した文章に論説文が多かった、で片がつきそうですけど。
Phrona: それだと説明になっていない気がします。頻度が高いだけの語って、普通は気にならないんですよ。「しかし」も多いけど引っかからない。「むしろ」だけが引っかかる。
富良野: ああ、それは確かに違いますね。じゃあ実験してみましょうか。がよく見る形だと、たとえば、「本報告書はDeFi規制の完成形ではない、むしろ今後の規制争点を一点に集約した文書である」、みたいな。ここから「むしろ」を抜いて、「実際には」と言い換えます。
Phrona: ……弱くはなりました。それでも残ってる。
富良野: 残りますよね。僕もそう思う。となると原因は「むしろ」じゃない。Phronaさんが引っかかっていたのは、語そのものじゃなかったことになる。
Phrona: それ、ちょっと納得できないんです。私が聞き取っていたのは確かに「むしろ」で、そこは間違っていない感じがする。何年も同じ語で引っかかり続けているのに、たまたま隣にあっただけと言われても。
富良野: いや、たまたまではないかもしれない。今の言い方を僕が訂正します。「むしろ」は原因じゃないけれど、原因が働いた証拠としては相当正確なんですよ。あの語は、前に言ったことを一度引っ込めて別の理解へ移りますよ、と予告する語でしょう。つまり、その操作をやったら表に出ざるを得ない。
Phrona: 煙みたいなものですか。火そのものじゃないけど、火がないと出ない。だったら、引っかかりを取り下げる必要はないですね。目印そのものを疑うんじゃなくて、目印が何を指しているかを見ればいい。……じゃあもう一回書き換えてもらえますか。今度は対比を残したまま、一文にまとめてみてください。
富良野: 「本報告書が示すのは、DeFi規制の完成形ではなく、今後焦点となる規制争点である。」
Phrona: ……あ。だいぶ落ちた。対比は残っているのに。
富良野: 残ってますね。ということは対比が悪いわけでもない。最初の版と何が違うかというと、完成形ではない、というのが独立した一文をもらっているかどうか。
Phrona: 一文もらうと、読んでいる側は一回それを持つんですよね。持たされてから、落とされる。……あ。「その報告書が規制の完成形だ」なんて、誰も思っていなかったですよね。
ポイント解説
読者の違和感は、たいてい最初に単語として現れる。単語は目に見えるからだ。しかし単語を差し替えて違和感が残るなら、原因はそこにない。かわりに、差し替えても消えなかったものを見ればよい。ここで残ったのは、ひとつの命題に独立した一文を与えるかどうかという配分の問題である。
一文を与えられた命題は、読者の中で一度は保持される。否定されるためだけに置かれた命題であっても、読まれる順序は避けられない。まず引き受け、それから落とす。対比を一文に畳み込んだ版で違和感が薄れるのは、そこで対比が主張から限定へ格下げされ、保持が起きないためだ。
変わったのは語彙ではない。文法でもない。いくつの命題を、どの順序で、読者に何秒持たせるかである。この配分は日本語の文法が決めるものではなく、書き手が選ぶものだ。そして選ばれたことは、ふつう表面に出ない。
誰も思っていなかったX
富良野: ということは、否定されたその命題は、書き手が持ち込んだものです。
Phrona: 持たされた、という感じがずっとあったんです。借りた覚えのないものを返させられている、みたいな。
富良野: で、面白いのは、その操作が誰のためになっているか。否定されると、否定されたほうは一度存在した扱いになるんですよ。実在した選択肢の顔をもらう。すると後ろに出てくるほうは、それを退けた末の判断に見える。
Phrona: 重みが、中身とは別のところから来てるんですね。
富良野: そう。何を言っているかではなく、何かを倒したという形式から来ている。倒された相手が書き手の自前でも、読んでいる側からは見分けがつかない。
Phrona: ただ、それを親切でやっている可能性もありますよね。誤解されそうなところを先に潰しておく。
富良野: あります。むしろ、良い書き方として教わる類のことです。読者が引っかかりそうな解釈を先回りして排除しておく。
Phrona: だから見分けにくいんだ。本当に誤解されそうなときと、そうでないときの違いだけが問題になる。
富良野: 基準を一つに絞れますね。否定されたその解釈が、前の文脈に既にあったかどうか。
Phrona: 前になければ、その否定は説明じゃなくて演出。
富良野: 演出という語は強いな。……いや、撤回はしません。
Phrona: 私は演出でも構わないと思っているんです。人間も演出しますし、それで読みやすくなることもある。気になっているのは別のところで、いつも同じ演出が来ることのほうなんです。
富良野: ……ああ。それ、僕がさっきから言葉にできていなかったやつです。
ポイント解説
否定してから言い直すという操作は、日本語に固有のものではなく、悪い書き方でもない。読者が抱きそうな誤解を先に排除するのは、説明文の作法として広く勧められている。翻訳研究には明示化(explicitation)という概念があり、原文で暗黙だった関係が訳文で言語化される傾向を指す。似た現象が生成された文章にも見えるという指摘は繰り返されてきた。ただし概念を借りたからといって、原因まで借りられるわけではない。
問題は操作の存在ではなく、その発動条件である。否定される解釈が前の文脈に候補として置かれていたなら、否定は読者の負担を減らす。置かれていなかったなら、否定はまず候補を作り、それから壊す。読者は自分が提出していない選択肢を、否定されるためだけに引き受ける。
そして後続の命題は、その否定を通り抜けたことによって、検討の痕跡を身にまとう。実際に検討されたかどうかとは無関係に、である。ここで疑わしいのは書き手の誠実さではない。形式が、内容の代わりに説得の仕事を引き受けられてしまう、という事実のほうだ。
形が、論から外れる
富良野: いつも同じ、というところを測った研究があります。論証的な文章を225本、六十万語くらい集めて、専門家が書いたもの、専門家でない人が書いたもの、大規模言語モデルが書いたものの三つに分けて比べている。
Phrona: 何を数えたんですか。
富良野: 修辞の装置です。たとえば三つ並べる型。三拍子で列挙するやつですね。あれがモデルの文章では専門家の約2倍出てくる。逆に、答えを求めていない問いかけ、修辞疑問のほうは人間が2倍以上使っている。それともう一つ、躊躇を表すしるしが、モデルの文章では人間の2倍の密度で出る。断定を避ける言い方が多い。しかも著者はそれを、演出された躊躇と呼んでいます。
Phrona: 躊躇まで演出されている。……それ、迷っていないのに迷ったふりをしている、ということですか。
富良野: そう読める指標を作っています。形式と意味の乖離という量で、言っている形と実際の根拠の強さがどれだけずれているか。モデルの文章で有意に高い。
Phrona: 言えることの量より、言い方の重さが勝っている。
富良野: ただ、僕が一番効くと思ったのは別の数字なんです。修辞の装置の分布が、モデルの文書のあいだで有意に均一だった。
Phrona: 均一。……それは、どういうことになるんでしょう。
富良野: 人間が書くと偏るんですよ。何を論じているかで、必要な修辞が変わる。対立が本当にある話なら対比が増える。そうでない話なら出てこない。偏るというのは、形が中身に引きずられている証拠です。
Phrona: 偏らないということは、引きずられていない。
富良野: 形と論が切り離されている。著者の表現だと、修辞の肉付けが論証の構造から独立して走っている。
Phrona: それ、私の言った「いつも同じ演出」より正確ですね。悔しいですけど。
富良野: いや、僕はここで逆に気をつけたいんです。この研究、英語の論証文だけで測っています。しかも著者自身が限界として書いていて、他の言語やジャンルへの一般化は未検証だと。
Phrona: 日本語じゃない。
ポイント解説
LLMの認識と修辞のずれを測る枠組みを提案した2026年の研究は、認識的なしるしと修辞的なしるしを三分類し、形式と意味の乖離、真正な認識表明と演出されたそれの比、修辞装置の分布のエントロピーという三つの合成指標で運用した。論証的テキスト225本、およそ六十万語を、専門家、非専門家、モデル生成の三群で比べている。
数値としては、三重反復(tricolon)がモデル生成で専門家の約2倍、修辞疑問は人間側が2倍以上、演出された躊躇のしるしはモデル生成で人間の2倍の密度となった。形式と意味の乖離はモデル生成で両方の人間群より有意に高い。だが記事の論旨に効くのは分布の均一性である。人間の修辞は書き手が何を論じるかに従って偏る。偏らないなら、形は内容の関数ではない。
ここで一つ、この研究自身が引いた線を尊重しておく必要がある。対象は英語の論証文のみであり、他言語への一般化は未検証だと限界節に明記されている。つまり修辞の層はすでに測られている。ただし英語の内側で、人間とモデルの差として測られただけである。日本語の「むしろ」が同じ現象なのかどうかは、この研究からは出てこない。
機械には見え、人には見えない
Phrona: じゃあ日本語では、何か分かっているんですか。
富良野: 日本語を対象にした研究があります。人が書いた公開コメント100本と、7つのモデルの生成文を比べたもので、見たのは機能語の出方、品詞の並び、それと機能語と品詞の組み合わせでできる句のパターン。内容ではなく骨組みのほうですね。それを文体統計にかけると、組み合わせた特徴で99.8パーセント。ほぼ完全に識別できています。
Phrona: 見分けられるんですね、日本語でも。
富良野: 機械は。同じ研究で人にも判定させていて、そっちは人が書いた文章を正しく人だと当てられたのが31.5パーセントです。
Phrona: ……それ、私の違和感は当たっていないってことになりませんか。
富良野: ならないと思う。ここで大事なのは、人が何を根拠にしていたかです。言い回し、語の末尾、接続詞、句読点。全部、表面の印象だと報告されています。
Phrona: 接続詞。
富良野: 接続詞。つまり人は、見る場所は合っていて、そこから正解を出せていない。
Phrona: 見えているのに読めない、みたいな感じですね。目の前にあるのに。
富良野: ……僕、ここで自分の前提を一つ引っ込めます。さっきまで、測れるものが実在で、測れないものは印象だと思っていました。この二つの数字を並べると、順序が逆かもしれない。
Phrona: 逆、というのは。
富良野: 違和感のほうが先にあって、それを言い表す語彙がまだないだけ、という順序です。31.5パーセントは、人の感覚が鈍いという意味じゃない。感覚が拾ったものを言葉に変える経路が、まだできていないという意味かもしれない。
Phrona: それだと、私が何年も同じ語で引っかかり続けていたことにも説明がつきますね。同じ場所を触っているのに、名前がないから毎回そこで止まる。
富良野: 名前がないと、毎回ゼロから言い直すしかないんですよ。
ポイント解説
7つのモデルと人間の日本語を文体統計で比較した2025年の研究は、機能語のユニグラム、品詞のバイグラム、機能語と品詞を隠した内容語からなる句パターンという三種の特徴を用いた。組み合わせた場合の識別精度は99.8パーセントに達し、事実上の完全識別である。一方で人間の被験者は、人間が書いた文章を正しく判定できた割合が31.5パーセントにとどまった。
この二つの数字の落差を、人間の能力の不足として読むことはできる。だがもう一つの読み方がある。被験者が判断の根拠として挙げたのは、言い回し、語尾、接続詞、句読点といった表層の印象だった。接続詞が名指しされている点は軽くない。判断の材料として選ばれた場所は、おそらく間違っていない。間違っているのは、そこから結論へ至る経路である。
検出できることと記述できることは別である。統計は差を検出したが、その差が何であるかを述べていない。人間は差を感じたが、述べる語を持たなかった。どちらの側にも、差そのものが何かという問いは残されたままだ。
語彙と統語までは、測られている
富良野: 言語をまたいだ測定も始まっています。大規模言語モデルには英語訛りがあるのか、という問いを立てた研究があって、これはフランス語と中国語を対象にしている。
Phrona: 訛り、という言い方はいいですね。第二言語を覚えた人の話し方に近い。
富良野: 著者自身その比喩を使っています。第二言語を学ぶ話者が不自然な言い方をするのと同じように、モデルも非英語で不自然な出力をする、と。それで、語彙の自然さと統語の自然さを測るコーパスレベルの指標を新しく作った。
Phrona: 結果はどうだったんですか。
富良野: 最新のモデルでも、英語の影響を受けたパターンへ傾く。あわせて改善手法も出していて、汎用の能力を落とさずに対象言語の自然さを上げられたと報告しています。
Phrona: 直せるんですね。
富良野: 語彙と統語は。
Phrona: ……あ。さっきの話と噛み合っていないですよね。
富良野: 噛み合っていません。こっちは言語をまたいで測っているけれど、測っているのは語彙と統語です。さっきの修辞の研究は修辞を測っているけれど、英語の中だけ。
Phrona: 交差していない。
富良野: 交差していない。僕がさっきから探している場所は、ちょうどその二つの隙間にあります。
Phrona: 隙間って、たまたま空くものじゃないですよね。空きやすい形があるはずなんです。
富良野: 測りにくいからだと思います。語彙は数えられる。統語も木の形で取り出せる。何と何を対立させたかは、数えるのが難しい。文の外に出ないと判定できないんですよ。しかも、どこまで前を読めばいいのかが決まっていない。
ポイント解説
LLMに英語訛りがあるのかを問い、多言語出力の自然さを測る指標を提案したACL 2025の研究は、フランス語と中国語について、語彙的自然さと統語的自然さを評価する自動指標を新たに設計した。多言語モデルの自然さそのものがほとんど注目されてこなかったという問題設定を明示し、最新のモデルにも英語の影響を受けたパターンが残ることを示している。あわせて、汎用ベンチマークの性能を損なわずに対象言語と領域での自然さを改善する整列手法も提案されている。
ここで分析の水準を三つに分けておくと見通しがよくなる。どの語を選ぶかという語彙の水準、一つの文をどう組むかという統語の水準、そして複数の命題をどの順序でどう関係づけるかという談話の水準である。
注意すべきなのは、この三つを程度の差として一直線に並べないことだ。統語が英語に寄ったから談話も寄る、とは言えない。談話の組み立ては、ジャンル、想定する読者、書き手の目的、受けた教育によって大きく動く。三つの水準は連続した坂ではなく、別の力が働く別の場所である。だからこそ、語彙と統語を測れたことは、談話を測れたことを含意しない。
内側に降りてみる
富良野: 内側を見た研究があります。京都大学と東京大学と国立情報学研究所の人たちが2024年に出したもので、日本語を扱うモデルの中間層を覗いています。
Phrona: 中間層を覗くって、どうやるんですか。
富良野: モデルは入力を受けて、何十層も通してから最後に単語を出します。ふつうは最後の層からしか読まない。この研究では、途中の層の状態に、最後と同じ変換をかけてみる。そうすると、この時点で単語を出させたらどれが出やすいかが見える。ロジットレンズ (logit lens) という手法です。途中で止めて、言わせてみるわけですね。それで著者たちは、途中の層でどの言語の答えに高い確率が出るかを、内部潜在言語(internal latent language)と名付けました。ここは定義を正確に取ったほうがよくて、モデルが頭の中で英文をしゃべっている、という意味ではありません。中間の表現を語彙の空間に戻したときの確率の話です。
Phrona: 比べたモデルは。
富良野: 三つです。英語中心のLlama-2。学習データの英語が89.7パーセントで、日本語は0.1パーセントしかない。それを土台に日本語で継続事前学習(continued pre-training)したSwallow。あとは最初から英語と日本語を半々で学習したLLM-jp。規模は揃えていて、どれも130億パラメータ、40層です。
Phrona: それで、日本語を書かせると何が起きるんですか。
富良野: Llama-2は、中間層で英語を経由します。フランス語から日本語への翻訳でもそうだし、日本語を入れて同じ日本語を返すだけの課題でも、日本語で知識を問う穴埋めでも同じでした。
Phrona: 日本語を入れて日本語を出すだけでも。
富良野: でも。
Phrona: それ、かなり強い話じゃないですか。
富良野: ここで止めたいんです。強く聞こえますが、言えることは限られています。中間の表現を語彙に戻したら英語の語の確率が高い、という意味しかない。頭の中で英文を組んでから訳している、とは言えない。
Phrona: ……分かりました。じゃあ、何が言えるんですか。
富良野: 学習の仕方で変わる、ということが言えます。Swallowは中間層に英語と日本語の両方が出る。LLM-jpは、日本語だけを使う課題では英語の確率がほとんど消えて、日本語が支配的になる。三つの一番大きな違いは学習コーパスの構成です。
Phrona: 流暢に書けることと、内側が中立かどうかは別。
富良野: そこは言えます。
ポイント解説
起点にした研究が採った方法を、定義のところで丁寧に押さえておきたい。著者たちが「think」と呼ぶのは比喩ではなく操作である。中間層の隠れ表現に出力層と同じ逆埋め込みを適用し、語彙空間での確率分布を得る。そこで高い確率を示す言語を内部潜在言語と呼ぶ。日本語は一語が複数のトークンに分かれ、漢字を中国語と共有するため、単一トークンを前提にした従来の手法を複数トークン列の確率計算へ拡張している。
比較された三モデルは、どれも130億パラメータ、40層、埋め込み次元5120に揃えられている。事前学習データの構成は、Llama-2が英語89.7パーセント・日本語0.1パーセント、Swallowの継続事前学習部分が日本語90パーセント・英語10パーセント、LLM-jpが英日各50パーセントである。日本語を目的言語とする翻訳、日本語から日本語への反復、日本語での穴埋めのいずれでも、Llama-2は英語を経由し、Swallowは英日混在、LLM-jpは日本語が支配的になった。並行データは英仏日中の166件である。
この設計の利点は、比較の軸が学習履歴だけに絞られている点にある。三モデルは規模も層数も揃っている。したがって観察された差は、学習コーパスの言語構成に帰しやすい。流暢な出力が内部処理の言語中立性を保証しないこと、そして内部の偏りが学習履歴によって動くことは、ここから言える。
学年は九月に始まらない
富良野: この研究、もう一つ面白い実験があります。文化がぶつかる質問をしていて、日本の学校の新学期はいつ始まるかを、日本語で聞く。
Phrona: 4月ですよね。
富良野: 4月です。ところがLlama-2の中間層では、9月に対応する答えが優勢になる。
Phrona: アメリカの学校。
富良野: アメリカの学校です。層が進んで確率が日本語側に寄ってから、ようやく4が出てくる。Swallowでは九という誤った候補が36層目に一度だけ現れる。LLM-jpでは、この偏りが観察されない。
Phrona: ……それって、内側の言語が知識を連れてきているということですよね。ただの符号じゃない。
富良野: 著者もそう解釈しています。主要言語の文脈にある知識が、予測に大きく影響していると。
Phrona: だったら、事実の選び方が内側の言語で変わるのに、組み立て方だけは中立だと思う理由はもうないですよね。
富良野: ……それ、言いたくなります。僕も言いたい。ただ、この実験からは出てこないんです。測っているのは語と短い句で、例は166件。段落の組み立ては測っていません。
Phrona: 言いたくなるのを止めるの、ずいぶん慎重ですね。
富良野: 慎重なんじゃなくて、ここで飛ぶと後で自分が困るんですよ。実際このあと困ります。
Phrona: 困る予定があるんですか。
富良野: 予定というか、もう困っています。
ポイント解説
文化的な衝突を含む問いへの応答は、この研究のなかで最も解釈の射程が長い実験である。日本の学年の開始月を日本語で問うたとき、英語中心のLlama-2の中間層では米国の慣行に対応する答えが優勢となり、目的言語へ確率が集中する後段の層でようやく日本の文脈に適合する。Swallowでは誤った候補が終盤に一度現れるだけで、英日を均等に学習したLLM-jpではこの偏りが観察されない。著者の解釈は、主要言語の文脈にある知識がモデルの予測に大きく影響するというものである。
もう一つ、著者たちは意味と言語の同一性が分けられるかを調べている。英日の同義語30組で、中間層と出力層の隠れベクトルの差を平均し、それを中間層の表現に足すと、上位の候補が英語から日本語へ移る。しかもその変化は5120次元に均等に広がるのではなく、一部の次元に疎に集中していた。意味は言語をまたいで共有され、言語の同一性だけが別の次元に載っている可能性を示す結果である。
したがって、内部の言語は意味中立な符号変換の層ではないらしい。言語と、その言語に結びついた知識の分布との間に関係がある。ここから、談話の組み立ても言語に引きずられるのではないかという問いが自然に出てくる。だがこの研究が測っているのは語と短い句であり、並行データは166件である。問いを立てる理由は与えられたが、答えは与えられていない。
英語に近い言語のほうが崩れる
富良野: 困る材料が、2026年に出ています。モデルにその言語で直接書かせた文章が、翻訳調(translationese)に見えるかを測った研究です。
Phrona: 翻訳しろとは頼んでいないのに。
富良野: 頼んでいません。対象は英語、ドイツ語、スペイン語、ギリシャ語、パシュトー語の5つ。日本語は入っていません。判定は、翻訳研究で積み上がってきた表層の指標を特徴にした分類器でやっています。面白いのは、学習には人が書いた文章と人が訳した文章だけを使っているのに、見たことのない機械翻訳を9割の精度で翻訳だと当てる。
Phrona: ちゃんと翻訳の痕跡を掴んでいるんですね。
富良野: ええ。それで結果は、ドイツ語だとあるモデルの出力の60.2パーセントが翻訳と判定された。スペイン語は平均45.7パーセント。直接書かせているのに、です。
Phrona: それは仮説どおりの向きですね。
富良野: ここからが本題です。ギリシャ語とパシュトー語のほうが、ドイツ語やスペイン語より翻訳調が少なかったんです。
Phrona: ……逆じゃないですか。資源の少ない言語のほうがうまくいっている。
富良野: 逆です。僕、ここで自分が組み立てていた説明を捨てました。英語中心に学習したから非英語の出力に英語が漏れる、という筋です。それなら、英語から遠い言語のほうが崩れるはずでしょう。
Phrona: 近いほうが崩れている。
富良野: 著者が候補を三つ挙げています。英語とドイツ語、英語とスペイン語は翻訳の代表的な組み合わせなので、学習データに翻訳文が多い可能性。ギリシャ語とパシュトー語の語順が極端に柔軟であること。それと、英語に近いこと自体が干渉を生む可能性。
Phrona: どれも、英語が原因という話とは違う形をしていますね。二番目は英語と関係がありません。
富良野: 一番目は、英語の影響ではあるけれど内部処理の話じゃない。翻訳された文章を、ドイツ語として学んでしまったという話です。日本語で言えば、海外の報道の訳、国際機関の文書、学術書の翻訳、外資系企業の日本語。あれを日本語として学べば、内側で英語を経由しなくても翻訳調になります。
ポイント解説
多言語モデルの生成文に翻訳調が現れるかを検証したCOLM 2026の研究は、英語、ドイツ語、スペイン語、ギリシャ語、パシュトー語の5言語を扱った。日本語は対象外である。欧州議会の議事録から母語話者による原文と人間による翻訳を集め、翻訳研究由来の表層指標を特徴量とする分類器を、人が産出したデータのみで学習させている。学習時に機械翻訳を一度も見ていないにもかかわらず、それを90パーセントの精度で翻訳と判定できたことが、指標の妥当性を支えている。
結果は一様ではない。ドイツ語では生成文の60.2パーセント、スペイン語では平均45.7パーセントが翻訳と分類された一方、資源の乏しいギリシャ語とパシュトー語では、生成文の翻訳調が独西より少なかった。著者が挙げる候補は、英独・英西が代表的な並行データ対であるため学習データ中の翻訳文が多いこと、両言語の語順が極端に柔軟であること、そして英語との近さ自体が干渉を生む可能性である。さらに著者自身、結果は文章が翻訳された証拠ではないと明記し、内部で英語を経由する説と学習データに翻訳文が多い説の双方を並置している。
この逆説は、記事の仮説に対する最も手強い反証材料である。英語中心性が原因なら、英語から遠い言語ほど崩れるはずだ。観察は逆を示した。加えて、翻訳調であることと英語的であることも同一視できない。翻訳研究が扱うのは明示化、単純化、規範化、原言語からの干渉といった性質であり、これらは英語以外の原言語からの翻訳にも現れる。翻訳調の検出は、生成文がその言語の原文から体系的にずれていることを支持する。どの言語に向かってずれているかは、別に示さなければならない。
四つの経路を並べたまま
Phrona: 原因が分からなくなった、ということですか。
富良野: 分からなくなりました。ただ僕は、このほうがいいと思っています。
Phrona: どうしてですか。負けた感じがしそうなのに。
富良野: 英語のせいだと決めると、問いが一つで終わるんですよ。そうじゃなくて、独立に作られた複数のモデルが、なぜ似た日本語の組み立て方に寄るのか。こっちのほうが問いとして広い。
Phrona: 候補は何が残るんですか。
富良野: 四つあります。事前学習の英語中心性。学習した日本語そのものの翻訳調。明確に説明せよ、誤解を避けよという調整。それと四つ目に、次の語を予測するという作り方そのものが、関係を表に出す書き方と相性がいい可能性。
Phrona: 四つ目、今まで出てきませんでしたね。
富良野: 出てきません。証拠もありません。ただ、しかし、つまり、したがって、といった語は、次の文が前の文とどう関係するかを先に宣言します。宣言してから書くほうが、続きが揺れにくいかもしれない。
Phrona: それだと、英語とも日本語とも関係ない話になりますね。
富良野: なります。だから、四つ並べたまま置いておくしかない。どれか一つに決めたくなるのは、たぶん僕の癖です。
Phrona: ……いま、Xを立てて否定したくなるのを我慢しましたね。
富良野: ばれましたか。
Phrona: 私も同じことを何度もやっていると思います。自分の文章だと気づかないんですよね。
富良野: 気づかないほうが自然だと思います。書いている最中は、対立を立てたほうが先へ進めるので。
ポイント解説
原因の候補を一本の鎖として描く誘惑は強い。英語中心の学習が英語寄りの内部表現を作り、それが語彙と統語へ漏れ、最終的に翻訳調の文章になる、という図式である。だが三つの研究は、異なるモデル、異なる言語、異なる指標を扱っている。同じ現象の三段階を実証したわけではない。別々の場所から、多言語モデルの言語中立性という前提に疑いを投げているだけだ。
したがって現時点で並べておくべき経路は四つある。第一に、事前学習の言語構成そのもの。第二に、学習された日本語に含まれる翻訳文の量。海外報道の訳、国際機関の文書、学術翻訳、外資系企業の文書などを日本語として学べば、内部で英語を経由しなくても翻訳調は再現される。第三に、指示への追従や整列の過程。明確に説明し、違いを明示し、誤解を避けるよう調整されたモデルにとって、否定してから言い直す形式は便利である。第四に、次のトークンを予測するという生成方式そのもの。談話関係を表面の標識で宣言しておくほうが、後続の生成が安定する可能性がある。
第三と第四については直接の証拠がない。だから仮説として並べるに留める。重要なのは、この四つのどれが効いているかを決めないまま、現象の記述だけを先に進められるという点である。原因の特定と現象の確認は、別の作業として扱える。
何を評価していないのか
Phrona: 最初に戻っていいですか。私は「むしろ」が気になると言いました。いまは、否定されたものが前からあったのかという話になっています。この距離は、自分でも思っていなかったです。
富良野: 距離が出たぶん、数えられるようになりました。同じテーマで文章を五通り集めればいい。日本語の母語話者が日本語で書いたもの、英語の母語話者が英語で書いたもの、それを人が日本語に訳したもの、モデルに日本語で直接書かせたもの、モデルに英語で書かせてから訳したもの。それで数えるのは「むしろ」の個数じゃなくて、否定された解釈が前の文脈に既にあったかどうか。そこを分類するだけで、かなり見えると思います。
Phrona: 外れたらどうします。
富良野: 外れたらそれも結果です。頻度は人間と同じで、使い方の分布だけが違うという結果のほうが、実は面白い。誤用でも、日本人が使わない語でもなく、発動する条件が違うという話になる。
Phrona: 私、一つ気になっていることがあります。この話、AIの日本語は下手だという話に聞こえませんか。
富良野: そこは避けたいんです。対立を明示したほうが読みやすい文章はあります。込み入った議論なら特に。暗黙のままにされた関係を全部言語化すれば冗長になりますが、逆に、明示されて助かることも普通にある。どちらが上かの話ではないんです。問題は、良い文章の基準がどこで決まっているのかが見えないことです。
Phrona: 見えないまま、標準になっていく。
富良野: そこが以前と違うところだと思います。人が英語から訳した文章なら、読者は翻訳として読めます。割り引ける。日本語で書いてと頼んで出てきた文章は、翻訳とは表示されない。日本語の原文として流通する。
Phrona: ……私はまだ、最初の感じに戻ってしまうんです。持たされた、という感じ。誰も思っていなかったことを、一瞬だけ自分の考えとして持たされる。それが積み上がっていくと何が起きるのかは、まだ分からないままなんです。
富良野: 分からないところは残していいと思います。僕のほうで一つだけ、はっきりしたことがあります。僕たちはAIの日本語の力を、語彙と文法で測ってきました。最近は語彙と統語の自然さも測るようになった。ところが、測っている場所と、文章の構造が決まっている場所が違うんです。
Phrona: 高い点数と違和感が、同時に成り立つ。
富良野: 成り立ちます。しかもそれは、測り損じているからじゃない。
Phrona: 測る単位がない、ってことですね。
ポイント解説
多言語モデルの評価は長らく、その言語を正しく扱えるかを問うてきた。質問を理解できるか、文法的に正しい文を作れるか、知識や推論の課題に答えられるか。近年になって語彙と統語の自然さが評価対象へ加わりつつある。だが複数の命題をどう配置し、何と何を対立させ、どの関係を明示してどれを暗黙に残すかという水準には、まだ対応する評価軸がない。
この不在は、文体の好みの問題ではない。何を対立項として置くかが変われば、読者に見える選択肢が変わる。どの関係を因果として明示するかが変われば、議論の構造が変わる。存在しなかった解釈をわざわざ立てて否定すれば、その後に置かれた主張の重みが変わる。談話の設計は思考そのものではない。しかし、思考をどういう構造として読者へ差し出すかを決めている。
検証は大規模でなくとも成立する。ジャンルと分量を揃えた五種類の文章を集め、否定された解釈が前の文脈に候補として存在したかを分類するだけで、仮説は動く。モデルの生成文が人間の日本語原文に近ければ仮説は弱まり、人間の翻訳日本語に近ければ翻訳調との関係が強まり、英語原文の構造に近ければ談話規範の移送という説明が力を持つ。学習履歴の異なるモデル間で差が出れば、原因の切り分けにも手がかりが出る。
そして規範の判断は、観察のあとに来る。ここで求められているのは日本語を守れという主張ではない。明晰で論理的な文章という基準が、特定の言語圏で発達した文章作法へ、誰にも気づかれずに収束していないかを見ておくことである。生成AIが媒介するのは語彙だけではないかもしれない。何を対立させ、何を明示し、どの順序で読者を結論へ導くかという形式まで、翻訳という表示のないまま運ばれている可能性がある。それが本当かどうかは、まだ測られていない。
この記事は、Projeteam, Inc. ウェブサイトで先行公開された
AIの使う「むしろ」の気持ち悪さから見えるもの──談話の自然さという、多言語LLM評価に欠けた単位
を素材として対話形式で再構成したものです。
元記事では、否定と再定義という操作が読者の選択肢をどう組み替えるか、形式が内容から独立して説得を担う仕組み、そして評価の単位が不在であることの意味まで掘り下げています。あわせてご覧いただけると、議論がより立体的に見えてくるかもしれません。
徐勝徹のマガジン