
【Windows/Blackwell編 2】ミニ言語モデルを「会話が成立する」ところまで鍛える — 評価を先に作り、語彙サイズを実測で決める
注記
この記事は、Windowsユーザー向け、かつ、以下の記事の続きです。
Macユーザーのみなさまは Mac版 をご参照ください。
前回のおさらい
前回、RTX 5090 で文字レベルのミニ言語モデルをゼロから作りました。
1分で学習が終わります(速えぇ~~~~さすがNVIDIA)が、
返答は日本語として崩れています。今回はここを「ぎりぎり話が通じる」ところまで持っていきます。
変更するのはトークナイザとデータだけです。モデル構造(6層 / 384次元 / 6ヘッド)と
学習設定(lr 3e-4 / グローバルバッチ 16,384 トークン / 3,600ステップ)は完全に同じにします。
こうしておくと、良くなった分の原因を切り分けられます。
リポジトリ
結論を先に: bits/char が 3.282 から 2.586 になった
同じ構造のモデルで、データ量とトークナイザだけを変えた3条件の比較です。
405万文字 / 文字レベル(語彙 2,578): bits/char 3.282
949万文字 / 文字レベル(語彙 2,578): bits/char 2.809
948万文字 / サブワード(語彙 8,000): bits/char 2.586
データを2.3倍にすると -0.473。そこからサブワード化して -0.223。
データ量の効果のほうが 2 倍大きい。 これがこの記事でいちばん重要な数字です。
「トークナイザを変えれば賢くなる」という話ではありませんでした。
そして学習時間は 78.5 秒(M1 Max では 1,620.2 秒。20.65 倍)。
浮いた時間は、また別のことに使えます。
ここから先が有料部分です。なぜ 4 つの指標を選んだのか、どう外れるのか、
語彙サイズをどう決めるのかを書きます。
(ここから有料)