メインコンテンツへスキップ
見出し画像

LoRAで自社データをローカルLLMに学習させる。必要GPU早見表つき

    自社の文体・様式をモデルに覚えさせるLoRA。24GB GPUで実用になりました。手順と必要GPU、そしてその前に確認すべきことを整理します。

    先に確認: それはLoRAでやるべきか

    LoRAの話に入る前に、一番大事な判断があります。知識を足すのはRAG、振る舞いを変えるのがLoRAです。

    • LoRAが効く: 文体・書式・定型出力の型・分類の癖を覚えさせる

    • LoRAでは効かない: 最新の知識・事実を追加する(これはRAGの領域)

    「社内の最新情報に答えさせたい」ならRAGです。「社内の報告書らしい文体で書かせたい」ならLoRA。この切り分けだけで、検討の半分が終わります(詳しい判断軸は『RAGとLoRA・ファインチューニングの違い』を参照)。事実の追加をLoRAでやろうとすると、コストばかりかかって効きません。

    LoRA/QLoRAの仕組みを3分で

    通常のファインチューニングは、モデルの全パラメータを更新するため巨大なGPUが要ります。LoRAは、元のモデルは凍結したまま、小さな追加行列だけを学習する手法です。更新する量が桁違いに小さいので、家庭用GPUでも回ります。

    QLoRAは、これに4bit量子化を組み合わせたもの。モデルを量子化してメモリに載せ、その上でLoRAを学習します。これにより、24GB級のGPUで数十Bのモデルを学習できるようになりました。

    必要GPU早見表

    Unslothの公式ドキュメントに、QLoRAの必要VRAMの最低値が公開されています。


    画像
    表1: モデル / QLoRA(4bit) / LoRA(16bit)


    これは最低値なので、実際にはデータのバッチサイズや系列長で上振れします。余裕を見て、7Bなら8GB級、32Bなら28GB級を目安にすると安全です。Macの統合メモリ(16GB〜)でも小型モデルのLoRAは可能です。手持ちマシンとの突き合わせは『ローカルLLM必要VRAM早見表』も参照してください。

    ツールの現実解2026

    主要なファインチューニングツールは3つです。


    画像
    表2: ツール / 特徴 / 向く人


    機能はほぼ横並び(LoRA/QLoRA対応)で、差は「設定・デバッグ・配布のワークフロー」です。迷ったら省メモリのUnsloth、ノーコードで始めたいならLLaMA-Factoryが入りやすいです。

    なお、PyTorch公式のtorchtuneは2025年に開発終了(積極的メンテナンス停止)しました。新規採用は避け、上記3ツールから選ぶのが無難です。

    最小フローは「データ準備 → 学習 → GGUF化 → Ollamaで利用」。学習したLoRAアダプタをGGUFに変換すれば、普段どおりOllamaで動かせます(手順の深掘りはZenn/Qiita併載で扱います)。

    データセットの作り方が成否の8割

    LoRAの品質は、ツールよりデータで決まります。

    • 量より一貫性: 大量の雑多なデータより、少数でも質と形式の揃ったデータ。数百件でも一貫していれば効きます

    • 社内データからの作り方: 過去の報告書・メール・回答を「指示 → 応答」のペアに整形する

    • 前処理が必須: 個人情報・機密情報の除去。学習データに入れたものはモデルに焼き込まれるので、法人利用では必ず除去工程を入れます

    学習後の評価と運用

    まとめ

    • 知識追加はRAG、振る舞い変更はLoRA。事実の追加をLoRAでやらない

    • QLoRAで24GB級GPUでも数十Bを学習可能。7B→8GB級、32B→28GB級が実用目安

    • ツールはUnsloth(効率)/LLaMA-Factory(ノーコード)/Axolotl(厳密)。torchtuneは2025年開発終了

    • 成否の8割はデータの一貫性と機密除去。学習後は評価・再学習コスト・tool影響まで見る

    主な参考資料: Unsloth ドキュメント、LLaMA-Factory (GitHub)、Axolotl (GitHub)、torchtune (GitHub, 開発終了)

    TodoONadaでは、自社データでのLoRA検証・実装を支援しています。お問い合わせはこちら。

     
     
    Claude/Cursor/Codexを使ってシステム開発xマーケx営業を並列開発する経営者。 元日本オラクルでシステムの受託会社であるTodoONadaをやっています。 http://defform.comも自社サとして運営中。

    あなたへのおすすめ