
nanochat#9 会話の教え方は、8個のトークンだった
連載「本物のLLMを、動かしながら読み解く」
第9回 会話の教え方は、8個のトークンだった
〜 24分23秒でParisと答えた。ただし2問目から壊れた 〜
どうもです!えむしんです。
前回、22科目のテストで採点して、GPT-2の14.2%という点数が出ました。
けれど、できあがったものはまだ会話ができません。
第6回で「フランスの首都は?」と聞いたら、こう返ってきました。
The capital of France is the capital of France質問に答えていません。続きを書いているだけです。
今回、これを会話できるようにします。結論を先に書きます。
24分23秒で、Parisと答えるようになりました。
そして2文目から壊れました。
前回の連載では、6件でできた
前の連載でも同じことをやりました。
自分で書いた教材を6件用意して、0.3秒だけ追加学習させたら、
質問に答えるようになりました。かわりに、暗記していた198文字を忘れました。
nanochat のやり方は、まったく違いました。
前の連載 教材 6件 0.3秒
nanochat 教材 789,759行 24分23秒13万倍です。
しかも中身が仕分けしてありました。
SmolTalk 46万行 ── ふつうの会話
MMLU 10万行を3周 ── 4択問題
GSM8K 8千行を4周 ── 算数
会話ができるようになるだけでなく、4択の答え方と算数の解き方を、
別々に、しかも違う回数だけ教えています。
何を何回教えるかが、--mmlu-epochs --gsm8k-epochs というつまみになっていました。
会話は、8個のトークンに変わる
では、会話をどうやって教えるのか。
nanochat のトークナイザには、特殊なトークンが9個あります。
そのうち1個(<|bos|>)は事前学習でも使うので、会話用は8個です。
<|user_start|> ここから質問
<|user_end|> 質問おわり
<|assistant_start|> ここから答え
<|assistant_end|> 答えおわり
<|python_start|> ここから計算(第10回で扱います)
<|python_end|>
<|output_start|> 計算結果はここから
<|output_end|>これだけです。会話という仕組みが、8個の目印で表現されています。
実際に変換させてみました。「What is the capital of France?」に「Paris.」と答える会話です。
idx id 学習 トークン
0 32759 ✗ '<|bos|>'
1 32760 ✗ '<|user_start|>'
2 1089 ✗ 'What'
3 306 ✗ ' is'
4 262 ✗ ' the'
5 6987 ✗ ' capital'
6 285 ✗ ' of'
7 7296 ✗ ' France'
8 63 ✗ '?'
9 32761 ✗ '<|user_end|>'
10 32762 ✗ '<|assistant_start|>'
11 12961 ○ 'Par'
12 274 ○ 'is'
13 46 ○ '.'
14 32763 ○ '<|assistant_end|>'15トークン。会話が、ただの数字の列になりました。
そして右の列。質問の側は学習しません。答えの側だけ学習します。
コードでは、こう1行書いてあるだけでした。
targets[mask_targets == 0] = -1学習しない場所に -1 を入れておくと、損失の計算から外れます。
「質問を覚えろ」とは教えず、「この質問のとき、こう答えろ」だけを教える。
答えるのではなく、続きを書かせている
もうひとつ、うまいと思ったところがあります。
本番でモデルに質問するとき、こう組み立てます。
<|bos|><|user_start|>質問<|user_end|><|assistant_start|>
↑ ここで止めて、続きを書かせる<|assistant_start|> を置いて、そこで止める。モデルは、その続きを書きます。
第6回で「The capital of France is the capital of France」と続きを書いていたのと、
やっていることは1ミリも変わっていません。
モデルは相変わらず、続きを書く機械のままです。
ただ、<|assistant_start|> の後ろに来るのは答えだと教え込んだので、
続きが、答えの形になる。
そして <|assistant_end|> が出たら、そこで打ち切る。
4ステップ目で壊れた(エラーは出ない)
さて、ここからが今回の本番です。
お手本どおりのコマンドを叩いたら、4ステップ目で壊れました。
step 00001 | loss: 1.876452
step 00002 | loss: 2.521472
step 00003 | loss: 2.732778
step 00004 | loss: nannan は「数字ではない」という意味です。計算が壊れた印です。
そしてエラーは出ません。
このまま1,500ステップ、最後まで走り切ります。
気づかずに待っていたら、24分後に壊れたモデルが1個できあがっていました。
原因を探しました。まず学習率(1歩の大きさ)を疑って、下げてみました。
学習率を 0.05 に下げる → nan
学習率を ゼロ にする → 同じ4ステップ目で nan学習率ゼロは、1歩も動かないという意味です。
モデルが変わっていないのに壊れる。ということは、壊しているのはデータの側です。
会話の64%が、席に座れなかった
nanochat は、会話を1行ずつ箱に詰めていきます。箱の大きさは、こう決まります。
箱の大きさ 513トークン(事前学習の 512 を引き継ぐ)
会話の切り詰め上限 2048トークン箱より大きい会話が作られています。
実際の会話の長さを測りました。SmolTalk の先頭500件です。
最小 31 / 中央 840 / 最大 2048
513以下(箱に入る) 178件 35.6%
514以上(永久に入らない) 322件 64.4%中央値が840。半分以上が、最初から箱に入りません。
入らない会話は、待合室(100件ぶん)に残り続けます。
待合室が「入らない会話」だけで埋まると、その箱は空のままになります。
中身がないので、詰め物を入れて、全部「学習しない」印をつけます。
それが32箱そろったのが、4ステップ目でした。
学習する場所がゼロ。割り算の分母がゼロになって、nan です。
なぜ本家では起きないのか。
chat_sft の箱の大きさは、既定では2048で、会話の上限と揃っています。
Mac で回すためのお手本スクリプトが、事前学習を512に縮めるよう指定していて、
そこだけが引き継がれていました。
8個のGPUで回すぶんには、一生出会わない不具合です。
箱を2048に広げたら、nan は消えました。
2つ目は、黙って140倍遅くなった
直ったので回し直したら、次はこうなりました。
step 00036 2,101ms
step 00037 13,702ms
step 00038 194,823ms
step 00039 289,572ms ← 140倍1ステップに4分50秒。1,500ステップなら121時間です。
メモリを見たら、スワップが 8,812MB。16GBに収まらなくなって、
SSDへの退避が始まっていました。
第7回で、6GBのグラフィックボードが6GBを超えても止まらず、
黙って2,464倍遅くなる話を書きました。今度は Mac 側で、140倍で起きました。
貯めるバッチの量を半分にしたら、1秒/ステップに戻りました。
3つ目は、自分が2回まちがえた
まだ続きます。回し直したら、200ステップ目の成績がこう出ました。
Step 00000 0.9511 ← 学習前
Step 00200 0.9988 ← 悪化会話で追加学習しているのに、会話が当てにくくなっている。
学習率が高すぎるのだろうと当たりをつけて、0.8から0.2に下げました。
Step 00100 0.9330 改善した「原因は学習率で確定」と書きました。 1点しか見ていないのに。
Step 00200 0.9988 また悪化外れです。慌てて「悪化は本物だ」と書き直しました。今度は2点です。
Step 00300 0.9400
Step 00400 0.9193
Step 00500 0.9011これも外れでした。
ただ振れていただけです。300ステップ以降は、12回のうち11回で最良値を更新しました。
数字が2つ3つ並んだだけで、方向が見えた気になっていました。
24分23秒
最終的に、こうなりました。
所要時間 24分23秒(事前学習は2時間15分)
学習前 0.9511
学習後 0.7752
改善 0.1759(18.5%)そして、聞きました。
Q. What is the capital of France?
A. The capital of France is Paris. It is a city that is known for
its rich history, history, and rich history. It is a city that
is known for its rich history, history, and rich history. ...答えました。
第6回で「The capital of France is the capital of France」と壊れていたモデルが、
質問を質問として受け取って、正しい答えを返しました。
そして2問目から壊れました。
こんな質問を聞きました。
Q. Why is the sky blue?
A. The sky blue is a blue, blue, and blue, with a blue, blue, and blue blue.
Q. What is 2 + 2?
A. To find 2 + 2 = 2, we need to find the number of numbers in the form
2 + 2 + 2 + 2 + 2 + 2 + 2 + ...
Q. Who are you?
A. The concept of "sample" is a fundamental concept in mathematics...4問中1問。
算数は、GSM8K を4周も学習させたのに、To find 2 + 2 = 2 です。
「To find ... we need to ...」という解き方の型だけを覚えて、中身が空になっています。
もうひとつ。上の答えは全部、乱数を切って(temperature=0)出したものです。
既定の 0.6 のまま聞くと、こうなります。
A. Ehhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhhh...同じモデルです。サイコロの振り方を変えただけで、ここまで崩れます。
この回の数字
24分23秒
8個の目印を挟んで、答えの側だけ学習する。それだけで、
フランスの首都に答えられるようになりました。24分23秒です。
けれど今回いちばん残ったのは、そこではありません。
3回とも、壊れたのに止まらなかったことです。
nan になった → エラーは出ず、最後まで走る
メモリが足りない → 止まらず、140倍遅くなる
成績が悪化した → そのまま完走できてしまう第8回では、22科目目でメモリ不足に落ちました。あれは落ちてくれたぶん親切でした。
今回の3つは、どれも黙っています。
気づかずに待っていれば、24分後に壊れたモデルが手に入って、
それを「こういうものか」と思って記事に書いていたはずです。
動いていることと、正しく動いていることは、別のことでした。
そして機械が黙るなら、こちらが測るしかありません。
そのこちらも、数字が3つ並んだだけで方向を決めて、2回とも外しました。
測るなら、足りる数だけ測るしかありません。
次回
会話ができるようになりました。けれど算数は 2 + 2 = 2 でした。
nanochat には、この続きが用意されています。
今回名前だけ出した、残り2組の目印です。
<|python_start|>
<|python_end|>モデルに、電卓を持たせます。
自分で計算するのをやめて、Pythonに投げて、答えを受け取って、続きを書く。
いまどきのAIが「ツールを使う」と言っているものの、いちばん小さい形がここにあります。
ではでは。
注)この記事の執筆にはAIを使っています。構成と最終的な文章は自分の手によるものです。