見出し画像

noteの韓国語翻訳は何者か妄想——Chat GPT、Qwen、Papagoを疑った末の結論

こんにちは、neonです。

noteの韓国語自動翻訳が始まってから、しばらく遊んでいました。

遊んでいたというのは、翻訳された韓国語の精度を調べる事ではありません。

「これ、何のAIモデルで訳してるんだろう」

という、答えの出ない推理です。

noteでは非公表なので、まあ全部妄想です。


最初はかなり夢がありました。

GPT系かもしれない。

Claude系かもしれない。

Qwen系を自前で回しているのかもしれない。

あるいはPapagoのような翻訳専用エンジンに、LLMで後処理をかけているのかもしれない。

自分の記事を使い、同じ日本語原文と韓国語訳を何本か並べて、訳語のブレや、多義語の処理、文化語のローカライズまで見ていきました。

すると、いくつか面白い癖が見えてきました。

同じ記事の中で、「村役場」の訳が複数に割れる。

「VTuber」が英字のまま残る箇所と、ハングル化される箇所がある。

日本語の鉤括弧も、ある場面ではそのまま残り、別の場面では消え、さらに別の場面では欧文の引用符になる。

しかも、その切り替わりが空白行や場面転換では割と一致している。

ここから、

「全文を一気に翻訳しているのではなく、ブロック単位で分割しているのではないか」

という仮説が出てきました。

一方で、局所的な翻訳品質はかなり高い。

単純な単語置換ではなく、前後の文脈を読んで意味を言い換えている。

「女友達」を韓国語のネットスラングに寄せたり、「受け身」をプロレス用語として処理したりする。

そのため、Papago単体よりはLLM的な処理に見える。

ただし、全文レベルで用語を統一するほど賢くもない。

となると、

「記事全体はどこかで読んでいるが、翻訳自体はチャンク単位」

という構成が何か見えてきました。

チャンクとは、長い文章をそのまま一気に処理するのではなく、段落や見出し、場面ごとの小さなまとまりに分けた単位のことです。

たとえば5000字の記事を丸ごと1回で翻訳するのではなく、

「冒頭」
「1つ目の段落」
「見出し」
「次の段落」

というように分割して、それぞれ別々に翻訳します。

こうすると、一部だけ翻訳に失敗してもその部分だけやり直せますし、長文を一気に処理するより安定します。

その代わり、別のチャンクで同じ単語を違う訳し方にしてしまうなど、記事全体で表記が揺れることがあります。

今回のnote翻訳では、その「チャンクごとに処理しているっぽい揺れ」が見受けられます。


書き手が記事を公開してからの流れはこんなイメージです。

最初に記事全文を軽量モデルに読ませる。

そこで、

  • 何の記事か

  • どのカテゴリに属するか

  • 誰におすすめするか

  • 海外向け翻訳の対象にするか

  • 主要キーワードは何か

を判定する。

その情報をAIレコメンドにも使い、翻訳対象になった記事だけ、段落や場面単位に分割して韓国語や英語へ変換する。

これなら、全文理解とチャンク翻訳が同時に存在しても矛盾しません。

さらに、チャンク単位なら途中で失敗してもそこだけ再実行できます。

記事全文を一発で翻訳して途中で崩れるより、運用としてずっと楽です。

ここまで考えると、モデル候補もだいぶ絞れてきます。

最上位のGPTやClaudeを毎回使うのは、さすがにコスト的に重い。

Qwenを自前でホスティングするのも面白いですが、GPUの運用、監視、更新、スケールまで考えると、それはそれで面倒です。

Papagoは日韓翻訳には強いですが、今回の訳文には少しLLMっぽい文脈処理が見える。

では何か。

そこで、かなり身も蓋もない仮説に戻ってきます。

GCP上で、GeminiのFlash系を使っているのではないか。
それもたぶんFlash-light。

これです。

何日も遠回りして、結局そこでした。

note側がすでに記事の推薦、分類、タグ付け、海外向け判定などにAIを使いたいのであれば、軽量なGemini Flash系に記事全文を一度読ませて、その結果を複数の処理に使うのはかなり合理的です。

翻訳も同じ基盤でやれば、モデルを増やす必要もありません。

前処理も推薦も翻訳も、同じGoogle Cloud上で寄せられる。

認証も監視も課金もまとめやすい。

そしてFlash系なら大量処理にも向いている。

性能の割にコストが大手の中で最安クラス。

こう書くと、ものすごく普通です。

最初は「秘密の翻訳モデルを特定するぞ」みたいな気分だったのですが、最終的には、

GCP使ってるならGeminiでよくない?

というところまで戻ってきました。

たぶんインフラ設計というのは、こういうものなのだと思います。

外から見ると特製のAIで自動翻訳していて未来っぽい。

中では、

記事をキューに積んで、

軽いモデルに読ませて、

チャンクに分けて、

失敗したらリトライして、

料金を見ながら回している。

あー。

地味。

つまんね。

あ、前にnoteがGeminiでなんかエッセイのお題の出してましたよね。

それも根拠です (笑)

いいなと思ったら応援しよう!