noteの韓国語翻訳は何者か妄想——Chat GPT、Qwen、Papagoを疑った末の結論
こんにちは、neonです。
noteの韓国語自動翻訳が始まってから、しばらく遊んでいました。
遊んでいたというのは、翻訳された韓国語の精度を調べる事ではありません。
「これ、何のAIモデルで訳してるんだろう」
という、答えの出ない推理です。
noteでは非公表なので、まあ全部妄想です。
最初はかなり夢がありました。
GPT系かもしれない。
Claude系かもしれない。
Qwen系を自前で回しているのかもしれない。
あるいはPapagoのような翻訳専用エンジンに、LLMで後処理をかけているのかもしれない。
自分の記事を使い、同じ日本語原文と韓国語訳を何本か並べて、訳語のブレや、多義語の処理、文化語のローカライズまで見ていきました。
すると、いくつか面白い癖が見えてきました。
同じ記事の中で、「村役場」の訳が複数に割れる。
「VTuber」が英字のまま残る箇所と、ハングル化される箇所がある。
日本語の鉤括弧も、ある場面ではそのまま残り、別の場面では消え、さらに別の場面では欧文の引用符になる。
しかも、その切り替わりが空白行や場面転換では割と一致している。
ここから、
「全文を一気に翻訳しているのではなく、ブロック単位で分割しているのではないか」
という仮説が出てきました。
一方で、局所的な翻訳品質はかなり高い。
単純な単語置換ではなく、前後の文脈を読んで意味を言い換えている。
「女友達」を韓国語のネットスラングに寄せたり、「受け身」をプロレス用語として処理したりする。
そのため、Papago単体よりはLLM的な処理に見える。
ただし、全文レベルで用語を統一するほど賢くもない。
となると、
「記事全体はどこかで読んでいるが、翻訳自体はチャンク単位」
という構成が何か見えてきました。
チャンクとは、長い文章をそのまま一気に処理するのではなく、段落や見出し、場面ごとの小さなまとまりに分けた単位のことです。
たとえば5000字の記事を丸ごと1回で翻訳するのではなく、
「冒頭」
「1つ目の段落」
「見出し」
「次の段落」
というように分割して、それぞれ別々に翻訳します。
こうすると、一部だけ翻訳に失敗してもその部分だけやり直せますし、長文を一気に処理するより安定します。
その代わり、別のチャンクで同じ単語を違う訳し方にしてしまうなど、記事全体で表記が揺れることがあります。
今回のnote翻訳では、その「チャンクごとに処理しているっぽい揺れ」が見受けられます。
書き手が記事を公開してからの流れはこんなイメージです。
最初に記事全文を軽量モデルに読ませる。
そこで、
何の記事か
どのカテゴリに属するか
誰におすすめするか
海外向け翻訳の対象にするか
主要キーワードは何か
を判定する。
その情報をAIレコメンドにも使い、翻訳対象になった記事だけ、段落や場面単位に分割して韓国語や英語へ変換する。
これなら、全文理解とチャンク翻訳が同時に存在しても矛盾しません。
さらに、チャンク単位なら途中で失敗してもそこだけ再実行できます。
記事全文を一発で翻訳して途中で崩れるより、運用としてずっと楽です。
ここまで考えると、モデル候補もだいぶ絞れてきます。
最上位のGPTやClaudeを毎回使うのは、さすがにコスト的に重い。
Qwenを自前でホスティングするのも面白いですが、GPUの運用、監視、更新、スケールまで考えると、それはそれで面倒です。
Papagoは日韓翻訳には強いですが、今回の訳文には少しLLMっぽい文脈処理が見える。
では何か。
そこで、かなり身も蓋もない仮説に戻ってきます。
GCP上で、GeminiのFlash系を使っているのではないか。
それもたぶんFlash-light。
これです。
何日も遠回りして、結局そこでした。
note側がすでに記事の推薦、分類、タグ付け、海外向け判定などにAIを使いたいのであれば、軽量なGemini Flash系に記事全文を一度読ませて、その結果を複数の処理に使うのはかなり合理的です。
翻訳も同じ基盤でやれば、モデルを増やす必要もありません。
前処理も推薦も翻訳も、同じGoogle Cloud上で寄せられる。
認証も監視も課金もまとめやすい。
そしてFlash系なら大量処理にも向いている。
性能の割にコストが大手の中で最安クラス。
こう書くと、ものすごく普通です。
最初は「秘密の翻訳モデルを特定するぞ」みたいな気分だったのですが、最終的には、
GCP使ってるならGeminiでよくない?
というところまで戻ってきました。
たぶんインフラ設計というのは、こういうものなのだと思います。
外から見ると特製のAIで自動翻訳していて未来っぽい。
中では、
記事をキューに積んで、
軽いモデルに読ませて、
チャンクに分けて、
失敗したらリトライして、
料金を見ながら回している。
あー。
地味。
つまんね。
あ、前にnoteがGeminiでなんかエッセイのお題の出してましたよね。
それも根拠です (笑)
