メむンコンテンツぞスキップ
芋出し画像

お盆䌑みの3日間で「自分だけの蚀語モデル」を䜜るMacBook 1台・完党自䜜

    「猫に぀いお教えお」ず聞いたら、こう返っおきたした。

    猫は犬に぀いおの物語です。

    画像

    猫でも、犬でもなく、物語。盛倧に間違っおいたす。
    でも、この子は私が䜜りたした。
    Hugging Faceから孊習枈みモデルを萜ずしおきたのでも、APIを叩いおいるのでもありたせん。
    Transformerを自分で曞いお、日本語のデヌタで30分孊習させお、喋らせた結果です。

    画像

    パラメヌタ数は1,153䞇。GPT-4の10䞇分の1以䞋です。知識もなければ掚論力もない。
    それでも、助詞の䜿い方も、句読点の䜍眮も、「〜ずしお、私は〜です」ずいう蚀い回しも、
    誰も教えおいないのにコヌパスの統蚈だけから立ち䞊がっおきたす。

    この蚘事は、それを自分のMacで再珟するための党手順です。

    泚蚘: Mac専甚です、Windowsナヌザヌ向けも執筆したした

    シリヌズ蚘事です。 お埗な党郚入りセットもあるよ


    この蚘事を読むず䜕ができるようになるか

    • 孊習枈みモデルを䞀切䜿わずに、Transformerをれロから実装できる

    • 日本語のコヌパスを自分で䜜り、自分のMacのGPUで孊習を回せる

    • CLIずブラりザの䞡方で、自䜜モデルず䌚話できる

    • 「LLMっお結局䜕をしおいるのか」を、他人の解説ではなく自分の手で確かめられる

    必芁なもの。

    • Apple Silicon の MacM1以降。メモリ16GBあれば十分です

    • Pythonが曞ける、あるいは読める皋床の知識

    • 機械孊習の知識は䞍芁です。数匏は1぀も出したせん

    • 実䜜業3〜4時間。うち孊習の30分は埅぀だけなので、実質2〜3時間

    クラりドもGPUサヌバヌもAPIキヌも芁りたせん。ネット接続はデヌタのダりンロヌドのずきだけです。

    先に、正盎に曞いおおきたす

    買っおから「思っおいたのず違う」ずなるのが䞀番申し蚳ないので、先に限界を曞きたす。

    この蚘事で䜜るモデルは、雑談が噛み合いたせん。
    挚拶は返っおきたすし、日本語ずしお敎った文を吐きたすが、
    質問の内容を理解しお答えおいるわけではありたせん。事実も平気で間違えたす。
    冒頭の「猫は犬に぀いおの物語です」が、その実力をよく衚しおいたす。
    1,153䞇パラメヌタ・441䞇文字ずいう芏暡では、そこが限界です。

    有料パヌトの埌半では、なぜ噛み合わないのかを孊習曲線から説明したうえで、
    どこたでやれば噛み合うようになるのかを、斜策ごずの所芁時間぀きで敎理しおいたす。

    ぀たりこれは「ChatGPTのようなものが手元にできる」蚘事ではありたせん。
    LLMの䞭身を、他人の解説ではなく自分の手で確かめるための蚘事です。
    そこにお金を払う䟡倀を感じおいただけるなら、きっず満足しおもらえるず思いたす。

    3日間の進め方

    お盆䌑みを想定しお、1日1〜2時間で区切れるように組んでありたす。
    たずめお半日でやっおしたっおも構いたせん。

    • Day 11時間 ── 環境構築、日本語コヌパスを䜜る、トヌクナむザを曞く

    • Day 21.5時間 ── モデルを実装する、孊習を回すうち30分は埅ち時間

    • Day 31時間 ── CLIで䌚話、ブラりザGUIを䜜る、自分のデヌタで䜜り盎す

    䜜るものの仕様

    • モデル ── 文字レベル ミニGPTデコヌダのみのTransformer

    • 構成 ── 6å±€ / 384次元 / 6ヘッド / 文脈256文字

    • パラメヌタ数 ── 11.53M

    • フレヌムワヌク ── MLXApple玔正

    • デヌタ ── 日本語䌚話 28,616件・441䞇文字Apache-2.0の公開デヌタ

    • å­Šç¿’ ── M1 Maxで玄30分、3,600ステップ

    「文字レベル」ずいうのがポむントで、1文字を1トヌクンずしお扱いたす。
    日本語をサブワヌドに分割する面倒な前凊理が芁らないので、
    トヌクナむザたで自䜜できる。これが1日で完走できる理由です。

    そもそも蚀語モデルは䜕をしおいるのか

    先に原理だけ抌さえたす。ここが腑に萜ちれば、あずは䜜業です。

    蚀語モデルがやっおいるこずは、たった1぀。

    これたでの文字列を芋お、次に来る1文字の確率を出す

    「こんにち」たで入力されたら、次が「は」である確率が90%、「わ」が3%、「ゃ」が0.1%  ずいうふうに、
    語圙の党郚に確率を割り振りたす。そこから1文字遞んで末尟に足し、たた次の1文字を予枬する。
    この繰り返しが「文章生成」の正䜓です。

    では、なぜ「䌚話」になるのか。答えは孊習デヌタの圢です。

    <|user|>おすすめの本はありたすか<|assistant|>SFがお奜きなら...<|end|>

    こう䞊べたテキストを倧量に食わせるず、モデルは
    「<|assistant|> の埌ろには返答が来る」ずいうパタヌンを芚えたす。
    だから掚論のずきは、ナヌザヌの入力の埌ろに <|assistant|> を付けお、
    その続きを予枬させるだけ。

    䌚話の分岐も、意図刀定も、if文も、1行も曞きたせん。
    「フォヌマットを孊習させる」だけで䌚話が成立する。ここが䞀番おもしろいずころです。

    Day 1-1: 環境構築10分

    ここは無料パヌトで最埌たでやり切っおください。
    MLXでMacのGPUが動く、これ自䜓が持ち垰りの䟡倀がありたす。

    既存の環境を汚さないよう、専甚のconda環境を䜜りたす。

    CONDA_SUBDIR=osx-arm64 conda create -n 1lm python=3.11 -y
    conda activate 1lm
    conda config --env --set subdir osx-arm64

    CONDA_SUBDIR=osx-arm64 は必ず付けおください。
    これを忘れるずx86_64向けのパッケヌゞが混ざり、埌から

    ImportError: dlopen(...): mach-o, but wrong architecture

    ずいう、原因が分かりにくい゚ラヌで詰みたす。Rosetta経由で動いおしたうぶん、
    気づくたでに時間を溶かす、いかにもありがちな眠です。

    ぀づいおラむブラリ。

    pip install mlx numpy fastapi "uvicorn[standard]" datasets

    確認したす。

    python -c "import mlx.core as mx; print(mx.default_device())"
    Device(gpu, 0)

    これだけです。 CUDA Toolkitも、cuDNNも、ビルドも芁りたせん。

    PyTorchでMacのGPUMPSを䜿ったこずがある人なら、この手軜さに驚くはずです。
    PYTORCH_ENABLE_MPS_FALLBACK=1 を蚭定したり、
    PYTORCH_MPS_HIGH_WATERMARK_RATIO を調敎したり、
    「この挔算はMPS未察応です」ず怒られお回避策を探したり──
    そういう戊いが、今回は䞀床もありたせんでした。
    MLXはAppleが自瀟チップ専甚に䜜っおいるので、圓たり前ず蚀えば圓たり前なのですが、
    自䜜LMをやるうえでこれは盞圓に倧きいアドバンテヌゞです。

    さお、GPUが動くようになりたした。ここからが本番です。


    ここから先は有料パヌトです。

    ※ 動䜜確認は筆者環境(Apple M1Max 64GB)でのみ行いたした、党おの環境での動䜜を保蚌するものではありたせん。ご理解いただける堎合のみご賌入ください。

     
     

    GeneLab

     
     
    AI゚ンゞニア、専門領域は動画を䞻ずしたコンテンツ生成 公匏ドキュメントを読み蟌み、手を動かしお怜蚌した保存版ガむドをお届けしたす。䞀緒に環境構築の沌を抜けよう。

    あなたぞのおすすめ