
nanochat#3 自分で作ったトークナイザは、日本語を3文字しか知らなかった
連載「本物のLLMを、動かしながら読み解く」
第3回 自分で作ったトークナイザは、日本語を3文字しか知らなかった
〜 「コーヒー」が4トークンから8トークンに増えた 〜
どうもです!えむしんです。
前回は、つまみが --depth 1個しかないことを確かめました。
今回はいよいよ、最初の部品を自分で作ります。
トークナイザです。
前の連載で、いちばん意外だったこと
前の連載の第2回で、こんなことを調べました。
「コーヒー」は何トークンか。
なぜこの言葉かというと、前の連載で使っていた文章が
朝コーヒーを淹れる話だったからです(後半で全文を出します)。
答えは、モデルによって違いました。
gemma2 4トークン
qwen2.5 1トークン同じ4文字なのに、切り方が違う。
このとき私は「へえ」で終わっていました。なぜ違うのかは、分かっていませんでした。
今回は、切る側に回ります。
20億文字を読ませて、42.87秒
トークナイザを作るというのは、文章をどこで切るかのルールを作ることです。
やることは1行です。
python -m scripts.tok_train読ませたのは、前回ダウンロードした学習用データの先頭 20億文字。
(ClimbMix という、英語のウェブ文章を集めたデータです)
max_chars: 2,000,000,000
vocab_size: 32,768
Training time: 42.87s42.87秒でした。
説明書には「M3 Max のMacBookで約34秒」と書いてあったので、
うちの Mac mini(M4)は、それより9秒ほど遅い、ということになります。
たった43秒で、32,768個の「切り方」ができました。
そのうち9個は、あとで会話を教えるときに使う特別な印です。
32759 <|bos|> 文章のはじまり
32760 <|user_start|> ここから人間の発言
32761 <|user_end|>
32762 <|assistant_start|> ここからAIの発言
32763 <|assistant_end|>
32764 <|python_start|> ここからプログラム
32765 <|python_end|>
32766 <|output_start|> ここから実行結果
32767 <|output_end|>この9個が第9回・第10回の主役になります。今回は場所だけ覚えておいてください。
いちばん最後の9個です。
さっそく「コーヒー」を切ってみた
自分で作った切り方で、あの4文字を切ります。
うちの (32,768語) 8トークン
GPT-2 (50,257語) 4トークン
GPT-4 (100,277語) 4トークン8トークン。増えました。
前回いちばん多かった gemma2 の4トークンの、さらに倍です。
4文字を8個に切っている。1文字を2つに割っていることになります。
中身を見て、事情が分かりました。
うちの : \xe3\x82 | \xb3 | \xe3\x83 | \xbc | \xe3\x83 | \x92 | \xe3\x83 | \xbc
GPT-4 : コ | \xe3\x83\xbc\xe3\x83 | \x92 | ーうちのトークナイザが返してきた8個は、文字ですらありませんでした。
\xe3\x82 というのは、コンピュータの中で文字を表すための数字の断片です。
日本語の1文字は、たいてい3つの数字の組で表されます。
その組を、途中でぶつ切りにしている。
「コ」という文字を知らないので、バラバラの数字として扱うしかなかったわけです。
前の連載で使っていた198文字を、丸ごと切ってみた
ここで、前の連載の話を少しだけ。
前回、私が自分で作ったモデルに読ませた文章は、これだけでした。
私は毎朝コーヒーを淹れる。豆を挽く音で目が覚める。
湯を沸かし、粉に少しだけ湯を落として蒸らす。
香りが立ちのぼるまでの三十秒が、一日でいちばん静かな時間だ。
それから残りの湯をゆっくり注ぐ。
カップを持って窓辺に座り、外の空を眺める。
晴れた日は遠くの山が見える。曇った日は町の音がよく聞こえる。
雨の日は、屋根を打つ音を聞きながら本を読む。
そうしてコーヒーを飲み終えると、私は机に向かう。全部で 198文字。朝コーヒーを淹れるだけの文章です。
10回の連載を通して、モデルに読ませたのは最初から最後までこれ1つでした。
だから前の連載では、この198文字がものさしになっていました。
「198文字が何トークンになるか」で、いろんなモデルを比べていたわけです。
今回も同じものさしを使います。
文字数 198文字
バイト数 578バイト
うちの (32,768語) 410トークン 1トークンあたり 0.48文字
GPT-2 (50,257語) 301トークン 1トークンあたり 0.66文字
GPT-4 (100,277語) 220トークン 1トークンあたり 0.90文字410トークン。
前回、同じ文章を qwen2.5 と llama3.2 に食べさせたときは、107〜165トークンでした。
うちのは、その3倍から4倍です。
最初の一文だけ、切れ目を出してみます。
「私は毎朝コーヒーを淹れる。」(13文字)
うちの(27トークン)
\xe7|\xa7|\x81|\xe3\x81|\xaf|\xe6|\xaf|\x8e|\xe6\x9c|\x9d|\xe3\x82|\xb3|
\xe3\x83|\xbc|\xe3\x83|\x92|\xe3\x83|\xbc|\xe3\x82|\x92|\xe6|\xb7|\xb9|
\xe3\x82|\x8c|る|。
GPT-4(16トークン)
私|は|\xe6\xaf|\x8e|\xe6\x9c|\x9d|コ|\xe3\x83\xbc\xe3\x83|\x92|ー|を|
\xe6\xb7|\xb9|れ|る|。13文字が27トークン。1文字が2つに割れています。
そして、27個のうち文字として読めたのは、いちばん最後の「る」と「。」だけでした。
犯人を探した:語彙の中に、日本語が3個しかなかった
なぜこうなるのか。
32,768個の語彙を全部取り出して、日本語の文字を含むものを数えました。
語彙の総数 32,768個
日本語を含むトークン 3個 (0.01%)
文字にならない断片 196個3個。
その3個が、これです。
的 の る漢字が1個、ひらがなが2個。以上。
「私」も「毎」も「朝」も「コ」も、1個も入っていませんでした。
だから、バイトの断片にするしかなかった。
さっきの一文の最後が「る」と「。」だけ読めていたのは、
偶然「る」が3個のうちの1個だったからです。
これは失敗ではなく、そういう設計だった
念のため書いておくと、私が何かを間違えたわけではありません。
読ませた20億文字が、英語のウェブ文章だったからです。
トークナイザは、読ませた文章の中でよく出てくる並びを、順番にくっつけていきます。
英語しか読んでいなければ、英語の切り方しか覚えません。
日本語はほとんど出てこないので、覚える価値がないと判断された。
「の」「る」「的」の3つだけ生き残ったのは、
英語の文章の中にも、たまたま出てくる回数がそれなりにあったのでしょう。
英語で測ると、話は逆になります。
coffee うちの 2トークン GPT-2 2トークン GPT-4 1トークン
" coffee" うちの 1トークン GPT-2 1トークン GPT-4 1トークン
I brew coffee every morning.
うちの 6トークン GPT-2 6トークン GPT-4 6トークン英語なら、語彙が半分以下でも GPT-2 と互角です。
nanochat には、トークナイザの成績表を出す道具もついていました。
GPT-2に対して GPT-4に対して
ニュース -0.2% -4.7%
プログラム +31.2% -28.2%
数学 +2.7% -9.5%
科学 +5.0% +0.8%
韓国語 +0.5% -103.6%プラスは「うちのほうが少ないトークンで表せる」という意味です。
プログラムのコードでは、GPT-2より31%も効率がいい。
語彙は3分の2しかないのにです。
そのかわり、韓国語では GPT-4 の倍のトークンを使っています。
日本語と同じ理由です。
前回の疑問に、答えが出た
前の連載で「なぜモデルによって切り方が違うのか」が分からないままでした。
自分で作ってみて、答えが出ました。
何を読ませたかが、そのまま語彙になる。
gemma2 と qwen2.5 で「コーヒー」の切り方が違ったのは、
性能の差でも設計思想の差でもなく、読ませた文章の中身の差でした。
qwen2.5 が1トークンで済ませたのは、
中国語や日本語をたくさん読ませたから、「コーヒー」を覚える価値があった。
うちのが8トークンかかったのは、英語しか読ませなかったから。
それだけのことでした。
num_ctx 4096 の意味も、ここで変わる
前の連載の第10回で、num_ctx 4096 は「文字数ではなくトークン数」だと書きました。
日本語の198文字が、モデルによって107〜165トークンになる、と。
うちのトークナイザだと410トークンです。
逆算すると、こうなります。
4096トークンで読める日本語の量
うちのトークナイザ 約 2,000文字
qwen2.5 など 約 5,000〜7,600文字同じ「4096」なのに、入る量が3倍以上違う。
設定ファイルに 4096 と書いたとき、私はずっと「4096」という一つの量だと思っていました。
実際には、トークナイザとセットでないと意味を持たない数でした。
この回の数字
3
32,768個の語彙のうち、日本語を含むのは3個。
自分で作ると、こういうことが起きます。
そして、こういうことが起きると分かっているのが、たぶん「分かった」ということです。
次回
日本語が3個しか入らなかったのは、トークナイザに読ませた文章が英語だったからでした。
では、その文章とは何なのか。
次回は、学習データそのものを開いて読みます。
1ファイルで2億5000万文字。前回の連載で使った198文字の、126万倍です。
中に何が書いてあるのか、人間の目で見てみます。
ではでは。
注)この記事の執筆にはAIを使っています。構成と最終的な文章は自分の手によるものです。