メインコンテンツへスキップ
見出し画像

【Windows/Blackwell編 1】RTX 5090 で言語モデルをゼロから作る — 1時間の予算を、どのサイズのモデルに割り付けるか

    ChatGTPとか、Claudeとか、Geminiとか、、、
    ああいった言語モデルを、自分で0から作れないかな?
    そりゃあ、あれほど賢くするのは予算的に難しいだろうが
    ごく簡単な言語モデルなら作れるはず、、、。

    Macbook1台で実践してみたのですが、

    「Mac限定かぁ、、、。」
    「Windowsでもやってみたい!」

    という声も多く、Windowsネイティブと RTX 5090 でやり直しました。
    RTX5090搭載機なので速いwww

    前置きですが、この記事を買ってもChatGPTクラスのものは作れません。会話もおぼつかないレベルのアホな言語モデルです。

    でも

    「GPTを使ったことがある」

    から

    「GPTをつくったことがある」

    にレベルアップできるはず。

    しかし、すべてのWindowsで動作を保証できるわけではありません。筆者環境のみでしか動作確認できないためです。
    しかし、この記事はただの「同じことを速いマシンでやった」報告ではありません。手元の GPU の1時間で、どのサイズのモデルを、どれだけのデータで学習すべきかを計算で決める手順が本題です。

    この手順は RTX 5090 を持っていない人にも使えます。

    作るものは、学習済みモデルを一切使わない文字レベルのミニ言語モデルです。Transformer を自分で書き、日本語の会話コーパスから「次の1文字」の予測を学習させ、最後に会話します。コードは全部 MIT で公開しています。

    環境

    筆者の環境は次のとおりです。

    • Windows 11 Pro (Build 26200) ネイティブ / WSL2 を使わない

    • RTX 5090 32GB / compute capability 12.0 (sm_120) / Driver 595.95

    • Python 3.13.9 / PyTorch 2.13.0+cu130 / triton-windows 3.7.1.post27

    WSL2 を使わなかった理由

    先に立場を書きます。この構成では WSL2 を使いません。

    Linux 前提の情報がそのまま通るので、WSL2 のほうが楽です。楽なのですが、
    「Windows でそのまま動かしたい」という需要のほうが圧倒的に多いうえ、
    Windows ネイティブでしか出てこない問題(共有GPUメモリへの静かな退避、cp932、
    FlashAttention 不在、260文字パス制限)を全部避けてしまいます。

    避けた問題は、読者の環境で必ず戻ってきます。だから正面から踏みました。
    このあと出てくる詰まりどころは、全部そのために出会えたものです。

    結論を先に: 同じ学習が 31.4 倍速くなった

    移植元(M1 Max / MLX)と移植先(RTX 5090 / PyTorch)で、同じ 3,600 ステップを回しました。

    • 3,600ステップの所要時間: M1 Max 1,907.0 秒 → RTX 5090 60.8 秒(31.4 倍)

    • 最良 val loss: 1.8571 → 1.8677(差 +0.0106。許容 ±0.05 の範囲内)

    • スループット: 31k tok/s → 1,138k tok/s

    • 専用VRAM ピーク: 1.67 GB(32GB のカードで、使っているのは 5%)

    32分待っていた学習が1分で終わります。

    ここまでは「速いマシンを買えばそうなる」という話です。
    面白いのはこの先で、浮いた31分をどこに使うかが本題になります。
    そして VRAM が 5% しか埋まっていないという事実が、次の問いに直結します。
    32GB を活かすには、モデルを大きくすればいいのか?

    答えは「ならない」です。ここから先が有料部分です。

    なお有料部分には、RTX 40 / 30 / 20 系や VRAM の小さいカードで再現するための節(§3)を
    入れてあります。筆者は 5090 しか持っていないので他機種の検証はできていませんが、
    その代わりに 5090 の上で VRAM 使用量を 4.6 分の1 まで落として通しで走らせ、
    出来上がるモデルが変わらないことを実測
    しました。
    必要な VRAM の内訳(デスクトップ常駐 + CUDA コンテキスト + PyTorch の確保)も測ってあります。


     
     
    AIエンジニア、専門領域は動画を主としたコンテンツ生成 公式ドキュメントを読み込み、手を動かして検証した保存版ガイドをお届けします。一緒に環境構築の沼を抜けよう。

    あなたへのおすすめ