メインコンテンツへスキップ
見出し画像
Photo bykohshi2812

東京都は1トークン?3トークン? ― Qwen3.5が出ても、日本語強化モデルの価値は下がらないと知った



    この記事について

    本記事は、「素人が知らなくて衝撃を受けた記録」です。

    ローカルLLMをあれこれいじってるうちに、あるとき「え、そういうことだったの。。。」って気づいたことがあって。

    AIが日本語を読むときの「効率」が、モデルによってめちゃくちゃ違う。しかもその差が、速さとか、一度に読める文章量とか、いろんなところに影響してる。

    なんとなくモデルを選んでた自分には、結構な衝撃だった。

    同じように「日本語AIってどれも似たようなもんでしょ」と思ってた人の参考になれば。素人なりにネットで調べた内容です。


    まず用語を4つだけ先に

    読んでたらちょいちょい出てくるので、先にざっくり。

    トークン: AIが文章を処理するときの「ひとかたまり」。人間でいう「単語」みたいなもの。「東京都」が1トークンになるか、「東」「京」「都」の3トークンになるか、これがモデルによって変わってくる。

    トークナイザー: 文章をトークンに区切るための「辞書」みたいなもの。辞書に「東京都」が載ってれば丸ごと1トークン、載ってなければ東 京 都と、1文字ずつバラされる(3トークン)。この辞書の中身がモデルによって全然違う。

    コンテキストウィンドウ: AIが一度に読み書きできるトークン数の上限。「32,000トークンのモデル」なら入力も出力も合わせて32,000トークンまで。トークン効率が悪いと、同じ文章でもたくさんトークンを消費するから、実質的に使える容量が目減りしてしまう。

    tok/s(トークン毎秒): AIが1秒間に何トークン処理できるかを表す数字。ローカルLLMの速さを測るときによく出てくる。ただし「1トークンの中身の大きさ」がモデルによって違うので、この数字だけで速さを比べるのは要注意(これが今回の核心)。


    AIって日本語をどう読んでるの?

    AIは日本語の文章をそのまま読んでいるわけじゃない。

    まず文章を「トークン」っていう小さなかたまりにバラして、それを数字に変換してから処理してる。人間が「東京都」を見て「ああ東京都ね」って理解するのとはぜんぜん違う読み方をしてる。

    英語だったらスペースで区切れるからわかりやすい。「I love Tokyo」はそのまま3トークン。

    でも日本語にはスペースがない。どこで区切るかをAI自身が判断しなきゃいけなくて、その判断に使う「辞書」がトークナイザー。この辞書の中身がモデルによってまるで違う。

    「まぁそうだよね」って話なんだけど、次の具体例を見て「えっ」ってなった。。。


    「東京都」で見るトークンの違い

    英語メインで学習したAI(LLaMA系とか):

    「東京都」→「東」「京」「都」= 3トークン

    1文字ずつバラバラ。英語データがほとんどの環境で作られた辞書には、日本語の漢字をまとめる方法が入っていないから、1文字ずつ切るしかない。

    中国語を含む多言語で学習したAI(Qwen系とか):

    「東京都」→「東京都」= 1トークン

    「東京都」がよく出てくる文字の並びだと学習済みだから、まるごと1つのかたまりとして扱える。

    同じ「東京都」3文字に対して、3トークンか1トークンか。3倍の差。

    知ったとき、結構衝撃だった。。。「そういうことだったのか」って。


    もっと例を見てみる

    「東京都」だけだと特殊に見えるかもしれないから、もう少し。

    「大規模言語モデル」の場合

    英語ベースのトークナイザーだと: 「大」「規」「模」「言」「語」「モ」「デ」「ル」= 8トークン

    日本語に最適化されたトークナイザーだと: 「大規模」「言語」「モデル」= 3トークン

    8トークン vs 3トークン。同じ言葉なのに2.5倍以上の差。データアナリティクスラボさんの記事で紹介されてた例なんだけど、見た瞬間「うわぁ。。。」ってなった。

    「こんにちは」の場合

    英語ベースだと: 「こ」「ん」「に」「ち」「は」= 5トークン

    日本語対応だと: 「こんにちは」= 1トークン

    5倍。。。「こんにちは」なんて日本語で一番使う挨拶なんだから、日本語をたくさん学習した辞書ならまるごと1トークンになって当然。でも英語メインの辞書には載ってないから、1文字ずつバラされてしまう。

    普通の日本語の文章だと

    東京エレクトロンデバイスさんの検証記事によると、同じ日本語文章をLLaMA2と日本語対応トークナイザーで処理したとき、トークン数が約2倍違ったらしい。同じ文章なのに、必要なトークン数が半分で済む。


    トークンが多いと何が困るの?

    「トークンが多かろうが少なかろうが、結果が同じなら別にいいんじゃ?」

    自分も最初そう思ってた。でも困ることが実際にある。

    処理速度が落ちる

    AIの速さは「1秒あたり何トークン処理できるか」(tok/s)で測る。

    仮に30 tok/sのAIがあるとして。日本語対応トークナイザーで「東京都」を処理するなら1トークン=約0.03秒。英語ベースだと3トークン=約0.1秒。

    たった1つの単語でこの差。文章全体になったら体感速度にはっきり出てくる。同じtok/sでも、1トークンの中身の大きさが違えば、実質的な日本語の処理速度が2〜3倍違うってこと。

    tok/sの数字だけ見てモデル比較してた自分には、かなり衝撃だった。。。

    一度に読める文章が減る

    コンテキストウィンドウが32,000トークンのモデルでも、トークナイザーの効率が悪いと実質的に読める日本語の量がガクッと減る。

    RAG(外部の資料をAIに参照させる仕組み)を使うとき、参照資料だけでトークンを大量に食ってしまって、AIに考えさせる余地が減る。「あれ、思ったより早く文脈切れるな。。。」って感じた人は、トークナイザーの効率を疑ってみると良いかもしれない。

    API利用だとお金がかかる

    ChatGPTとかクラウドAIサービスはトークン数で課金される。同じ日本語でも、トークン効率が悪いモデルだとそのぶん余計にお金がかかる。ローカルLLMなら課金は関係ないけど、速度とコンテキストの問題はそのまま残る。


    中国語ベースのモデルが日本語に有利なワケ

    「なんで中国語ベースのモデルが日本語に有利なの?」って話。

    Qwen(通義千問)はAlibaba Cloudが開発したモデルで、中国語と英語を中心に多言語データで学習されてる。語彙数は約15万語。LLaMA系の約3万2千語と比べると圧倒的に多い。

    で、ここが肝なんだけど、中国語と日本語は漢字を共有してる。

    中国語データで大量に学習したトークナイザーは、「東京」「大学」「会社」「技術」みたいな漢字の組み合わせをすでに効率的なトークンとして辞書に持ってる。日本語でもこれらの漢字はそのまま使うから、中国語ベースのトークナイザーは英語ベースのものより日本語の処理効率がめちゃくちゃ良い。

    「日本語ならQwen系が有利」って言われてる背景に、モデルの賢さだけじゃなくてトークナイザーレベルでの相性の良さがあった、と。これも知らなかった。。。


    さらに日本語でトレーニングするとどうなるか

    Qwen系は漢字の処理効率は良い。でもそれだけでは十分じゃない。

    日本語にはひらがな・カタカナっていう、中国語にはない文字体系がある。「こんにちは」「ありがとうございます」「データサイエンティスト」。こういう表現は中国語データだけでは効率的にトークン化できない。

    そこで出てくるのが、日本語データで追加トレーニングされたモデル。

    たとえばQwen3-Swallow(東京科学大学(旧・東京工業大学)+AIST開発)やNVIDIA Nemotron-Nano-9B-v2-Japaneseは、元のモデルをベースに日本語のデータでがっつり追加学習している。

    なお、これらのモデルのApple Silicon向けMLX変換版を自分のHuggingFaceアカウントで公開してる。Qwen3-Swallowは32B / 30B-A3Bの各量子化、Nemotron-Nano-9B-v2-Japaneseはfp16 / 8bit / 4bitを用意した。LM Studioでそのまま使えるのでぜひ。 → tocchitocchi - HuggingFace

    日本語トレーニングで何が変わるかというと。

    辞書がさらに強化される。 ひらがなのフレーズ、カタカナ語、助詞の組み合わせなど、中国語データだけでは拾いきれなかった日本語表現が効率よくトークン化されるようになる。

    モデルの中身の日本語理解も深まる。 同じトークン数から引き出せる日本語の質が上がる。敬語、文末表現、日本語特有の言い回し。そういう「日本語らしさ」の精度が変わってくる。

    つまり、日本語トレーニングの効果は「日本語が上手くなる」だけじゃなかった。同じ内容を少ないトークンで表現できる=速い+たくさん読めるという量的なメリットも同時についてくる。

    これ、正直全然知らなかった。。。


    ローカルLLMユーザーが気をつけたいこと

    ここまでの話を踏まえて、自分が気をつけようと思ったこと。

    tok/sの数字だけでモデル比較しない

    モデルAが50 tok/s、モデルBが30 tok/s。数字だけ見たらAのほうが速く見える。でもAのトークナイザーが日本語を1文字ずつ処理して、Bが2〜3文字まとめて1トークンにするなら、実質的な日本語の処理速度はBのほうが速い可能性がある。

    今まで完全にtok/sの数字だけ見てた。。。反省。

    コンテキストウィンドウの「実質容量」を意識する

    32Kトークンのモデルでも、トークナイザーの効率によって実質的に読める日本語の量が大きく変わる。RAGで資料を突っ込んだり、長い会話を続けるとき、「あれ、思ったより早く文脈切れるな。。。」って感じたら、トークナイザーの効率を疑ってみるといいかもしれない。


    じゃあQwen3.5とQwen3-Swallow、どっちがいいの?

    ちょうどこのトピックに興味を持ったタイミングで、Qwen3-Swallowがリリースされた。でも同じ時期にQwen3.5も出ていて、「どっちがいいの?」って思った。

    調べてみてわかったのは、これ、単純にどっちが上って話じゃないんだよな。。。 ということ。

    アプローチが根本的に違う。


    Qwen3.5は「辞書を大きくした」

    Qwen3.5はトークナイザー自体が進化している。語彙サイズがQwen3の約15万語から約24.8万語に拡大。対応言語も119言語から201言語に増えた。

    「辞書がでかくなったから日本語も得意になったでしょ」って思いたいところなんだけど、実際に中身を調べた人がいらっしゃった。

    三重大・奥村教授がQwen3.5-27BのMLX版でトークナイザーの中身を実際に分析したところ、「日本語っぽいトークン」の上位30個のうち28個が中国語フレーズだったらしい。日本語として入ってたのは「よろしくお願いいたします」「ありがとうございました」の2つだけ。

    さらに「昔々あるところにおじいさんとおばあさんがいました。」をQwen3.5でトークン分割してみると:

    昔|々|ある|ところ|にお|じ|い|さん|とお|ば|あ|さんが|いました|。
    

    「じ」「い」「ば」「あ」が1文字単位でバラバラになってる。。。

    語彙は増えたけど、増えたのは主に中国語のフレーズだった。日本語のひらがな・カタカナ・日本語特有の言い回しは、まだ十分に入ってない。

    Qwen3.5の辞書はぶ厚くなった。でも増えたページをめくってみたら、ほとんどが中国語のセクションだった。日本語のページは思ったより全然増えていなかった、という話。


    Swallowは「日本語で長期間暮らして鍛えた」

    一方でQwen3-Swallowは全然違うアプローチ。Qwen3をベースに、膨大な日本語データで継続学習している。

    その量、209.7Bトークン。

    「Bトークン」って言われても全然ピンとこないんだけど、日本語テキスト換算で大体こんな規模。

    Qwenのトークナイザーは日本語で1トークンあたり1.5〜1.8文字くらいに相当する。単純計算で: 209.7B × 1.5文字 ≒ 約3,000億文字以上

    日本語の文庫本1冊が約10万字として、約300万冊分。日本語版ウィキペディア全体が約9億文字なので、その350倍以上に相当する。

    これをQwen3にぜんぶ読み込ませて追加学習してる。それがSwallowという存在。

    たとえるなら、日本で何年も暮らして日本語を徹底的に鍛えた人。辞書のサイズじゃなくて、使いこなし方が根本的に違う。


    ベンチマークの数字ってどう解釈すればいい?

    Swallowの公式サイトに「Qwen3より+4.6ポイント上」とか書いてある。パッと見ると「4ポイントって大したことないのでは?」って思う。自分も最初そう感じた。

    これを理解するには、どんな問題を解かせてるかを知る必要がある。

    ベンチマークでよく使われるGPQA(Graduate-Level Google-Proof Q&A)の問題ってこういうやつらしい:

    「タンパク質の熱力学的安定性と、細胞内でその機能を果たすための動的な柔軟性はどのようにトレードオフになっているか」

    博士課程レベルの問題。理系の大学院生でも解けないものがざくざく入ってる。4択問題でもランダムに答えたら25%しか当たらない。人間の専門家(大学院生)でもだいたい65%前後と言われてる。

    こういう問題をAIに1000問解かせてスコアが出る。

    その文脈で「+3.8ポイント」を考えてみる。

    1000問で:

    • Qwen3 8B:600問正解(60%)

    • Qwen3-Swallow 8B:638問正解(63.8%)

    差は38問。

    「たった38問」に聞こえるかもしれないけど、これが医療の診断AIだとして、「患者1000人の症状を診断する」として考えてみる。60%のAIは1000人中600人を正しく診断できる。63.8%のAIは638人を正しく診断できる。38人多く救える。

    難しい問題での38問の差は、易しい問題での38問の差より、意味がぜんぜん違う。


    そして「苦手科目なし」がもっと重要だったりする

    数値のポイント差より、実はここが一番実用上重要な気がしている。

    AIに「日本語を強化する」トレーニングをすると、副作用として英語や数学の性能が落ちることが多い。「日本語は上手くなったけど、数学が苦手になった」みたいな。

    テストで言うと「国語100点・数学60点(平均80点)」みたいなモデルができてしまう。

    Swallowの公式ベンチマークを見ると:

    • 日本語Q&A:Qwen3より上

    • 日本語数学・理科:Qwen3より上

    • 英語タスク:Qwen3とほぼ同等を維持

    「全科目90点タイプ」の優等生。

    これって実用上かなり大事で、日本語で会話してるときに急に英語の質問をしたり、日本語で数学の問題を解かせたりするシーンで、苦手が出ない。信頼して使えるモデル、という話だと思う。


    ただしSwallowには明確な弱点がある

    ここまでSwallowを推す感じで書いてきたけど、一個はっきり言っておかないといけないことがある。

    Swallow系はツール呼び出し(function calling)のトレーニングがされていない。

    これが何を意味するかというと、LM StudioのMCPプラグインとの連携ができない。Web検索させたり、外部ツールを動かしたりする用途には使えない。

    • 日本語で会話・文章作成がメイン → Swallow系

    • MCPやツール連携が必要 → Qwen3 / Qwen3.5

    この使い分けが今の現実的な答えな気がする。


    「新しいモデル=自分にとってベスト」は、必ずしも正しくない

    ここで正直に言うと、Swallowが出たとき自分が最初に思ったのは「でもQwen3ベースじゃん、1世代古いじゃん」だった。。。

    新しいモデルが出るたびに、以前のモデルをベースに作られた日本語強化モデルは見劣りして見える。これ、ガジェット好きあるあるというか、「新しいほうがいい」って無条件に思っちゃう感覚。

    でもちょっと待って、という話で。

    例えるなら、こういうことだと思う。

    海外から来たばかりの人(Qwen3.5)と、日本に5年住んで日本語を徹底的に鍛えた人(Qwen3-Swallow)がいるとする。前者のほうが「最新の教育を受けた」かもしれない。でも日本語で仕事をしてもらうなら、どっちに頼む?

    モデルのバージョンは「その人がどれだけ優秀な素地を持ってるか」の話。日本語強化トレーニングは「その人が日本語環境でどれだけ鍛えられたか」の話。この2つは別の軸で、新しい=日本語が得意、ではない。

    ベンチマークの結果がちゃんとそれを示してる。Qwen3.5という新世代のベースモデルを使っても、文庫本300万冊分の日本語で鍛えたSwallow(Qwen3ベース)には、日本語タスクで勝てていない。

    「新しいモデルが出たら乗り換える」という判断は、用途を考えずにやるとハマる。日本語での会話・文章作成がメインなら、バージョンより「どれだけ日本語で鍛えられているか」のほうが正直ずっと重要な気がしてる。


    「辞書の大きさ」で勝負するQwen3.5と「鍛え込み」で勝負するSwallow

    整理するとこんな感じでしょうか。

    Qwen3.5:

    • アプローチ:辞書を大きくした

    • 語彙サイズ:約24.8万語(拡大)

    • 日本語ひらがな対応:まだ1文字単位になる部分あり

    • 日本語タスク:改善傾向

    • ツール連携(MCP等):対応✅

    Qwen3-Swallow:

    • アプローチ:日本語で徹底的に鍛えた

    • 語彙サイズ:Qwen3ベース(約15万語)

    • 日本語ひらがな対応:日本語特有表現も効率化

    • 日本語タスク:ベンチでQwen3を明確に上回る、苦手科目ほぼなし

    • ツール連携(MCP等):非対応❌

    バージョンとしてはSwallowはQwen3ベースだから1世代前。でも「新しいモデルが出たから日本語強化モデルの意味が薄れる」かというと、そうじゃない、というのが今回の結論。

    Qwen3.5が辞書を大きくしたのは本当。でもその辞書に増えたのは主に中国語で、日本語ひらがな・カタカナはまだ十分じゃない。一方でSwallowは文庫本300万冊分の日本語を読み込んで鍛えたモデルで、ベンチではちゃんとその差が出てる。

    辞書を大きくするだけでは、鍛え込んだ人には勝てない。


    実践編は後日

    とはいえ、調べるだけじゃまだ「で、実際どのくらい違うの?」が体感としてわからない。

    MBA M5が届いたら、同じ日本語テキストをQwen3.5とQwen3-Swallowに食わせてトークン数の差を実測するつもり。LM Studioで同じプロンプトを投げて体感速度の差も比較してみたい。

    この記事は「解説編」で、データ付きの「実践編」は後日出す予定。「で、実際どのくらい違うの?」は、実測してから答えを出す。


    まとめ

    今回の話を一言でまとめると。

    同じ1トークンでも、中身の情報量がモデルによって全然違う。

    英語ベースのモデルで日本語を処理すると、文字がバラバラに分割されてトークンを大量消費する。中国語ベースのモデル(Qwen系)なら漢字の処理効率が良い。さらに日本語データでトレーニングされたモデル(Swallow系、Nemotron Japanese系)なら、ひらがな・カタカナも含めた日本語全体のトークン効率が最適化される。

    「辞書を大きくしたQwen3.5」と「文庫本300万冊分の日本語で鍛えたSwallow」。新しいモデルが出るたびに日本語強化モデルの価値が霞んで見えがちなんだけど、辞書の大きさと鍛え方は別の話。実際の差は、実測データ付きで後日書く。

    ローカルLLMのベンチマークでtok/sを見るとき、「このtok/sの中身は何なのか」をちょっと意識するだけで、モデル選びの精度がぐっと上がる。。。はず。

    知ってるか知らないかで、結構変わる話だと思う。


    参考にした情報源

    素人なりにネットで情報を集めて読み込んだ。専門家の厳密な検証ではなく、あくまで初心者が調べた範囲での理解なので、間違いがあったらコメントで教えてもらえるとありがたいです。


    40代、外資系ITベンダーのインフラエンジニア。リスキリング中のAI初心者。Apple Silicon複数台で自宅にローカルAI環境を構築中。MLX変換モデルをHuggingFaceで公開しています。

     
     
    40代、妻、小学生の息子1人の3人家族。ガジェットネタ、温泉好き。運動不足解消と1年前からテニススクールへ通い中。10年ほど前からは、外資系ITベンダーでインフラエンジニアとして従事。日々の雑感やガジェットネタ、リスキリングでチャレンジしてることなどを記録予定。

    あなたへのおすすめ