
【Windows/Blackwell編 1】RTX 5090 で言語モデルをゼロから作る — 1時間の予算を、どのサイズのモデルに割り付けるか
ChatGTPとか、Claudeとか、Geminiとか、、、
ああいった言語モデルを、自分で0から作れないかな?
そりゃあ、あれほど賢くするのは予算的に難しいだろうが
ごく簡単な言語モデルなら作れるはず、、、。
Macbook1台で実践してみたのですが、
「Mac限定かぁ、、、。」
「Windowsでもやってみたい!」
という声も多く、Windowsネイティブと RTX 5090 でやり直しました。
RTX5090搭載機なので速いwww
前置きですが、この記事を買ってもChatGPTクラスのものは作れません。会話もおぼつかないレベルのアホな言語モデルです。
でも
「GPTを使ったことがある」
から
「GPTをつくったことがある」
にレベルアップできるはず。
しかし、すべてのWindowsで動作を保証できるわけではありません。筆者環境のみでしか動作確認できないためです。
しかし、この記事はただの「同じことを速いマシンでやった」報告ではありません。手元の GPU の1時間で、どのサイズのモデルを、どれだけのデータで学習すべきかを計算で決める手順が本題です。
この手順は RTX 5090 を持っていない人にも使えます。
作るものは、学習済みモデルを一切使わない文字レベルのミニ言語モデルです。Transformer を自分で書き、日本語の会話コーパスから「次の1文字」の予測を学習させ、最後に会話します。コードは全部 MIT で公開しています。
無料版の記事(Windows 固有の詰まりどころ5件): https://qiita.com/GeneLab_999/items/f2456b1657e2ac94003d
環境
筆者の環境は次のとおりです。
Windows 11 Pro (Build 26200) ネイティブ / WSL2 を使わない
RTX 5090 32GB / compute capability 12.0 (sm_120) / Driver 595.95
Python 3.13.9 / PyTorch 2.13.0+cu130 / triton-windows 3.7.1.post27
WSL2 を使わなかった理由
先に立場を書きます。この構成では WSL2 を使いません。
Linux 前提の情報がそのまま通るので、WSL2 のほうが楽です。楽なのですが、
「Windows でそのまま動かしたい」という需要のほうが圧倒的に多いうえ、
Windows ネイティブでしか出てこない問題(共有GPUメモリへの静かな退避、cp932、
FlashAttention 不在、260文字パス制限)を全部避けてしまいます。
避けた問題は、読者の環境で必ず戻ってきます。だから正面から踏みました。
このあと出てくる詰まりどころは、全部そのために出会えたものです。
結論を先に: 同じ学習が 31.4 倍速くなった
移植元(M1 Max / MLX)と移植先(RTX 5090 / PyTorch)で、同じ 3,600 ステップを回しました。
3,600ステップの所要時間: M1 Max 1,907.0 秒 → RTX 5090 60.8 秒(31.4 倍)
最良 val loss: 1.8571 → 1.8677(差 +0.0106。許容 ±0.05 の範囲内)
スループット: 31k tok/s → 1,138k tok/s
専用VRAM ピーク: 1.67 GB(32GB のカードで、使っているのは 5%)
32分待っていた学習が1分で終わります。
ここまでは「速いマシンを買えばそうなる」という話です。
面白いのはこの先で、浮いた31分をどこに使うかが本題になります。
そして VRAM が 5% しか埋まっていないという事実が、次の問いに直結します。
32GB を活かすには、モデルを大きくすればいいのか?
答えは「ならない」です。ここから先が有料部分です。
なお有料部分には、RTX 40 / 30 / 20 系や VRAM の小さいカードで再現するための節(§3)を
入れてあります。筆者は 5090 しか持っていないので他機種の検証はできていませんが、
その代わりに 5090 の上で VRAM 使用量を 4.6 分の1 まで落として通しで走らせ、
出来上がるモデルが変わらないことを実測しました。
必要な VRAM の内訳(デスクトップ常駐 + CUDA コンテキスト + PyTorch の確保)も測ってあります。