メインコンテンツへスキップ
見出し画像

【Windows/Blackwell編 2】ミニ言語モデルを「会話が成立する」ところまで鍛える — 評価を先に作り、語彙サイズを実測で決める

    注記

    この記事は、Windowsユーザー向け、かつ、以下の記事の続きです。
    Macユーザーのみなさまは Mac版 をご参照ください。

    前回のおさらい

    前回、RTX 5090 で文字レベルのミニ言語モデルをゼロから作りました。


    1分で学習が終わります(速えぇ~~~~さすがNVIDIA)が、
    返答は日本語として崩れています。今回はここを「ぎりぎり話が通じる」ところまで持っていきます。

    変更するのはトークナイザとデータだけです。モデル構造(6層 / 384次元 / 6ヘッド)と
    学習設定(lr 3e-4 / グローバルバッチ 16,384 トークン / 3,600ステップ)は完全に同じにします。
    こうしておくと、良くなった分の原因を切り分けられます。

    リポジトリ


    結論を先に: bits/char が 3.282 から 2.586 になった

    同じ構造のモデルで、データ量とトークナイザだけを変えた3条件の比較です。

    • 405万文字 / 文字レベル(語彙 2,578): bits/char 3.282

    • 949万文字 / 文字レベル(語彙 2,578): bits/char 2.809

    • 948万文字 / サブワード(語彙 8,000): bits/char 2.586

    データを2.3倍にすると -0.473。そこからサブワード化して -0.223。

    データ量の効果のほうが 2 倍大きい。 これがこの記事でいちばん重要な数字です。
    「トークナイザを変えれば賢くなる」という話ではありませんでした。

    そして学習時間は 78.5 秒(M1 Max では 1,620.2 秒。20.65 倍)。
    浮いた時間は、また別のことに使えます。

    ここから先が有料部分です。なぜ 4 つの指標を選んだのか、どう外れるのか、
    語彙サイズをどう決めるのか
    を書きます。


    (ここから有料)

     
     
    AIエンジニア、専門領域は動画を主としたコンテンツ生成 公式ドキュメントを読み込み、手を動かして検証した保存版ガイドをお届けします。一緒に環境構築の沼を抜けよう。

    あなたへのおすすめ