メインコンテンツへスキップ
見出し画像

【Qwen Image 2.1】VRAM 12GBに入らないモデルを使ってGoogle ColabのA100 80GBでLoRA学習してみた

    こんにちは、かみもとです!

    Qwen Image 2.1でキャラLoRAを以前作ったのですが、全然元画像のキャラに似ていなかったです・・。

    画像データセットが悪い(Anima, Krea2では実績があるのですが)可能性もありますが、学習に使っていたモデル自体も量子化されたものだったので、非量子化モデル(BF16)で学習するとうまく学習できる可能性もあります。

    ただ、非量子化モデルはサイズが大きすぎて、私のローカルPC(RTX4070 12GB)では実行ができません・・・。クラウドGPUを使うとお金もかかるのでどうしようかなと思っていました。

    そんな時、Google AI Pro契約者はColabのGPUが使えるようになったとのニュースが!

    私は26年1月に、55%オフキャンペーンに釣られてGoogle AI Proを年払いしてしまったあと、全然活用できていなかったので、まさに渡りに船!

    そこで今回は、Qwen Image 2.1のLoRA学習を、Google ColabのA100 80GBで試してみました!


    簡単に結論を

    普段使っているRTX 4070 12GBでは、同じ1000stepの学習がだいたい2時間コースです。一方、今回ColabのA100 80GBで回したところ、本学習は約21分で終了しました。めちゃ速。

    ただし、学習そのものは正常に完了したものの、狙っていたキャラクターの再現性は十分ではありませんでした。LoRA強度を上げると絵柄や顔立ちは変化しますが、「このキャラクター本人」に寄せるという意味ではまだ弱いです。。

    ただ、今回かなり印象に残ったのはそこではなく、

    • ローカルGPUでは重いLoRA学習をクラウドで短時間に回せる

    • A100 80GBを必要なときだけ使える

    • Google AI Proの200 CCUを使えば、趣味用途でもかなりの回数を試せる

    • 学習が終わればGPUを解放できるので、GPU本体を買う必要がない

    という点です。

    この記事では、実際に使ったColab Notebookを前提に、Google Driveの準備、Colabの設定、おすすめGPU、実行手順、Compute Unitの消費量、注意点までまとめます。


    今回使ったNotebook

    この記事で公開するNotebookは、個人用の名前やtrigger wordを汎用化した公開版です。

    デフォルトでは、

    PROJECT = "qwen21_character_bf16_r32_s1000"
    TRIGGER = "mycharacter"
    DATASET_ZIP = "qwen_character_dataset.zip"
    EXPECTED_IMAGES = 32

    となっています。

    実行前に、最低でも PROJECT、TRIGGER、DATASET_ZIP、必要に応じて EXPECTED_IMAGES を自分のDatasetに合わせて変更してください。

    学習の設定ポイントは以下です。

    Model          : Qwen Image 2.1
    Trainer        : ai-toolkit 0.13.19
    Transformer    : Comfy-Org BF16 single-file
    Resolution     : 1024
    Dataset        : 32 images + 32 captions
    LoRA rank      : 32
    LoRA alpha     : 32
    Learning rate  : 1e-4
    Steps          : 1000
    Optimizer      : AdamW8bit
    Timestep       : sigmoid
    dtype          : BF16
    
    Quantization            : OFF
    Gradient Checkpointing  : OFF
    Layer Offload           : OFF
    Low VRAM                : OFF
    Latent cache            : RAM

    かなりメモリを使う設定です。

    実測ではA100 80GBに対して、

    GPU VRAM : 約74.2 / 80GB

    まで使いました。

    つまり、このNotebookは「どんなGPUでも動く省VRAM版」ではなく、A100 80GB級の大容量GPUを使って、余計なoffloadや量子化をせず高速に学習するための構成です。


    なぜColabでやるのか

    RTX 4070 12GBでもQwen Image 2.1のLoRA学習自体は可能です。私もローカルで学習しましたし。

    ただし、VRAM 12GBでは当然そのまま載らないため、

    • 量子化

    • Gradient Checkpointing

    • Layer Offload

    • Low VRAM設定

    などが必要になります。

    自分の環境では1000stepで約2時間程度かかっていました。

    一方、今回のA100 80GBでは約1.33 sec/it 1000step:約21分まで短縮できました。約2時間 → 約21分なので、単純に見ると5倍前後の短縮です。

    ローカルGPUを2時間占有するのと、クラウドGPUを20分程度借りるのでは、使い勝手がかなり違います。電気代もかからないですし、Colabで学習中にローカルPCでゲームだってできますからね。


    1. Google Driveを準備する

    Notebookは、学習データと最終LoRAをGoogle Driveに置く構成にしています。

    まずGoogle Driveに以下のフォルダを作ります。

    MyDrive/
    └─ colab_lora/
       ├─ datasets/
       │  └─ qwen_character_dataset.zip
       └─ outputs/

    Notebook側では、

    DRIVE_ROOT = "/content/drive/MyDrive/colab_lora"
    DATASET_ZIP = "qwen_character_dataset.zip"

    このパスやZIP名は先頭の設定セルで変更できます。

    としているため、学習データは、

    MyDrive/colab_lora/datasets/qwen_character_dataset.zip

    に置きます。


    Dataset ZIPの中身

    今回のNotebookは32枚の学習画像を前提にしています。

    001.png
    001.txt
    
    002.png
    002.txt
    
    003.png
    003.txt
    
    ...
    
    032.png
    032.txt

    画像とcaptionのファイル名を揃えます。

    画像
    学習データの例

    対応している画像形式は、

    .png
    .jpg
    .jpeg

    です。

    Notebook側ではさらに、

    • 画像32枚

    • txt 32枚

    • 画像とtxtのstemが一致

    • 全captionにtrigger wordが入っている

    ことを実行前にチェックします。間違えているとエラーになるので安心。

    公開版Notebookのデフォルトtrigger wordは、

    mycharacter

    です。

    別のtrigger wordを使う場合はNotebook先頭の、

    TRIGGER = "mycharacter"

    を変更します。

    画像枚数を変える場合は、

    EXPECTED_IMAGES = 32

    も変更してください。

    データセットを作るのは結構面倒ですが、再現したいキャラクターの画像が1枚あるなら、それをChatGPTに入れて画像を生成、キャプションもできます。一度に10枚の画像しか作れないようなので、10枚ずつ作成していけばOKです。毎回チャットで「別のシーン10枚」「別のシーン10枚」って指示すれば良いです。


    元画像は1024x1024にリサイズしなくてもよい

    私が今回使った新しいDatasetは1254x1254でしたが、そのままZIPに入れています。

    Notebook側の学習解像度は、

    RESOLUTION = 1024

    です。

    ai-toolkit側で学習時に指定解像度へ縮小されるので、元画像を事前に1024x1024へリサイズする必要はありません。

    高解像度の原本を残したまま、

    入力画像:1254x1254
    学習解像度:1024

    で使用しています。

    なお、このNotebookは1024学習ですでにVRAMを約74GB使用します。

    1248x1248などへ学習解像度を上げると、現在の「BF16 / GC OFF / offload OFF」設定ではOOMになる可能性がかなり高いです。

    まずは1024のまま使うのがおすすめです。


    2. Hugging Face TokenをColab Secretに登録する

    NotebookはHugging Faceからモデルを取得します。Colabを使う場合、GPUを確保してから毎回モデルをダウンロードしないといけません。環境構築もですけれど、面倒くさいですね。仕方なし。

    Colabの左サイドバーにある鍵アイコンの「シークレット」から、

    HF_TOKEN

    という名前でHugging Face Tokenを登録します。

    画像
    真ん中の「鍵」マークね

    NotebookからのアクセスもONにします。Notebook内では、

    token = userdata.get("HF_TOKEN")

    で取得しているので、TokenをNotebook本文へ直接書く必要はありません。

    Hugging Face Tokenをチャットや公開Notebookへ貼り付けないよう注意してくださいね。


    3. ColabでNotebookを開く

    .ipynb をGoogle Driveへ保存して開くか、Colabの、

    ファイル
    → ノートブックをアップロード

    から読み込みます。

    その後、GPUを割り当てます。

    画像
    Colabで開いた画面。左にリソース設定がある。

    4. おすすめGPUはA100 80GB

    GPUを設定する場合、まずはどれを使いたいかを選択します。「ランタイムのタイプを変更」をクリック。

    画像
    選択画面

    今回のNotebookで一番おすすめなのは、A100 High Memory(80GB)です。G4 GPU(96GB)も強力ですが、高いのと最新よりのGPUなので環境が安定していないこともあります。A100くらいがちょうど良いくらい。

    実際に今回使用した環境は、

    GPU        : NVIDIA A100-SXM4-80GB
    VRAM       : 80GB
    System RAM : 約167GB

    でした。

    学習中は、

    GPU VRAM:約74.2GB
    System RAM:約19GB

    程度を使用しました。かなりギリギリですが問題なく動きます。ここまでVRAMを使うので、やはりローカルPCでは無理でしたね。


    5. Notebookを上から実行する

    DatasetとHF_TOKENを準備したら、基本的にはNotebookを上から順番に実行します。

    画像
    実行を押すと自動でGPU接続もやってくれる

    今回のNotebookは以下の順番です。

    1. 設定
    2. 共通初期化・Drive/Dataset検証
    3. ai-toolkit環境構築
    4. BF16 single-file + 必要コンポーネントDL
    5. 学習設定・LoRA health check準備
    6. 20 step smoke
    7. 1000 step本学習
    8. Drive保存
    9. GPU手動解放

    1. Datasetチェック

    最初にGoogle Driveをマウントし、Dataset ZIPをローカルSSDへコピーして展開します。このとき、

    • 画像枚数

    • caption枚数

    • ファイル名対応

    • trigger word

    を確認します。Datasetがおかしい場合は学習前に停止します。


    2. ai-toolkit環境を作る

    今回のNotebookは、

    ai-toolkit 0.13.19

    へ固定しています。これは自分のローカル環境で学習できた版に合わせたものです。また、

    PyTorch 2.13.0
    CUDA 13.0

    系の環境をNotebook内に作成します。Colab本体のPython環境を直接汚さず、

    /content/qwen21_bf16/venv

    へ専用venvを作っています。


    3. Qwen Image 2.1をダウンロード

    Transformerには、

    Comfy-Org/Qwen-Image-2.1
    diffusion_models/qwen_image_2.1_bf16.safetensors

    を使用します。非量子化BF16です。Text Encoder、VAE、processorなどは、

    Qwen/Qwen-Image-2.1

    から必要部分のみ取得します。

    以前、公式Diffusersディレクトリをそのまま学習に使った際、MLP側のLoRAが正常に更新されない問題に遭遇したため、このNotebookではComfyUI形式のBF16 single-fileを明示的に使っています。

    ダウンロード後には、

    gate_up : 32
    out     : 32
    to_q    : 32
    
    split gate/proj keys : 0
    quant markers        : 0
    dtype                : BF16

    などを確認し、想定したモデル形式であることをチェックします。


    6. いきなり1000step回さない

    このNotebookで工夫している点です。いきなり1000stepを回すのではなく、最初に、20 step スモークテストを実行します。お試し実行ですね。

    Qwen Image 2.1では今回、

    32 blocks
    ×
    (Attention 4本 + gate_up + MLP out)
    =
    192個

    のLoRA B/up tensorを想定しています。スモークテスト終了後に、

    B/up tensors : 192
    
    attn     : 128/128 nonzero
    gate_up  : 32/32 nonzero
    mlp_out  : 32/32 nonzero

    を確認します。1個でもall-zeroなら本学習へ進みません。

    過去に「lossは出ていて2000stepまで完走したのに、保存LoRAの一部が全部ゼロ」ということが実際にあったので、このチェックを入れています。どうやらai-toolkitのQwen Image 2.1 LoRA学習の既知のバグらしいです。


    7. 1000step本学習

    スモークテストが通ると1000stepの本学習へ進みます。今回の実測は、約1.32~1.33 sec/itでした。1000stepで約21分です。めっちゃ速い。

    RTX 4070 12GBのローカル環境では約2時間かかっていたので、かなり快適ですー。


    8. 最終LoRAもhealth checkする

    1000step終了後も、保存されたLoRAを再度チェックします。今回の最終LoRAは、

    ai-toolkit : 0.13.19
    step       : 1000
    LoRA A     : 192
    LoRA B     : 192
    zero B     : 0
    rank       : 32

    でした。つまり、LoRAファイルそのものは正常に学習されています。Notebookではそれを自動でチェックするので、そのまま使ってもらえればチェックもやってくれます。


    9. 結果をGoogle Driveへ保存する

    学習が終わると、

    MyDrive/
    └─ colab_lora/
       └─ outputs/
          └─ qwen21_character_bf16_r32_s1000_YYYYMMDD_HHMMSS/

    のようなフォルダへ保存します。中には、

    final.safetensors
    train.yaml
    train.log
    train_health.log
    smoke.log
    smoke_health.log
    MODEL_SOURCE.json
    READY.json

    などが入ります。特に、

    final.safetensors
    READY.json

    がDrive側へ存在することを確認してからGPUを解放してください。final.safetensorsが最終成果物(LoRA)です。


    10. GPUは最後に手動解放する

    以前、自動解放を入れていたときに、エラーや保存タイミング次第で復旧しにくくなることがありました。

    そのため現在は、自動でGPUを解放しない設計にしています。最後のセルに、

    RELEASE_GPU = False

    があります。Drive保存を確認したあと、

    RELEASE_GPU = True

    へ変更して、最後のセルだけ実行します。内部では、

    runtime.unassign()

    を呼び出しています。Colabのリソース画面で、

    0件のアクティブなセッション

    になれば終了です。もちろん、GPU解放忘れると使っていないのにどんどんお金(CCU)が消費されてしまうので、最初の一回目だけは手動解放。二回目以降は自動解放にすると良いです。


    Qwen Image 2.1 LoRA再学習の結果は?

    ここで一旦、Colabで学習したLoRAの結果を見せます。非量子化モデル・学習データの見直しを行いましたが、結果的にダメでした。。

    画像

    右上がLoRAなし、右下がLoRAあり。確かに何か変わっているので学習はできているんでしょうが、元絵のキャラを再現するところまでは至っていません。やはりQwen Image 2.1はキャラLoRA学習が苦手なのかもしれません。

    もしLoRAなしで元絵を再現したいなら、i2iで画像編集を使うのが良いと思います。あるいは三面図を使うと、LoRAよりは効きが良くなります。アニメより実写の方が得意ですね。


    Google AI Proの200 CCUはどれくらい使える?

    ここからはおまけです。Google公式によると、Google AI Proの有料メンバー(月額2900円。26年9月30日現在)にはColab用の、

    200 CCU

    が付与されます。

    Google AI ProとColab Pro / Pro+を同じGoogleアカウントで併用することもでき、その場合はCompute Unitが同じ残高へ加算されます。

    今回A100 80GB使用時にColabのリソース画面へ表示されていた消費率は、

    約6.77 CCU / 時間

    でした。この値で単純計算すると、

    200 CCU ÷ 6.77 CCU/h
    ≒ 29.5時間

    です。つまり、今回と同程度のA100を約29.5時間使える計算になります。一回の学習で21分しか使わないので、かなり学習できそうですね!


    1000step学習なら何回できる?

    今回の1000step本学習は約21分です。

    29.5時間
    ÷
    21分
    ≒ 84回

    です。理論上は、1000stepのLoRA学習を約84回分に相当します。もちろん実際には、

    • ランタイム起動

    • 環境構築

    • モデルダウンロード

    • 20step smoke

    • Dataset cache

    • Drive保存

    • 操作している待機時間

    などでもCompute Unitを消費するため、実際に84回できるわけではありません。それでも、趣味でLoRAを何本か学習する用途ならかなり余裕があります。ローカルGPUが不要なのも利点ですよね。


    1回の学習はいくらくらい?

    ちなみにGoogle AI Proなどサブスク枠で使わず従量課金にするとどれくらいなのかも検討してみました。自分のGoogle AI Pro契約は、2026年9月時点で月額2,900円です。

    仮に2,900円を200 CCUだけの料金として無理やり割ると、

    2,900円 ÷ 200 CCU
    =
    14.5円 / CCU

    です。今回のA100は、

    6.77 CCU/h

    なので、21分なら約2.37 CCU。

    2.37 CCU × 14.5円
    ≒ 34円

    になります。つまり、1000step・約21分の学習1回が、按分上は約30~40円程度という感覚です。

    ただしこれは「Google AI Proの月額料金を全部Colab代として考えた場合」の参考値です。実際のGoogle AI ProにはColab以外にも、

    • Geminiの拡張利用

    • Deep Research

    • Googleアプリ連携

    • Google Drive等のストレージ

    • Google Developer Program Premium系の特典

    などがあります。

    そのため、もともとGoogle AI Proを他の目的でも使っている人にとっては、付属の200 CCUの範囲内ならLoRA学習の追加負担は実質0円と考えることもできます。個人的にはここがかなり大きいです。全然使ってなかった年払いにようやく価値が出てきたー。

    ちなみに、Colabはサブスク契約なしでもPay As You Goで利用でき、100 Compute Unitsが$9.99。今回のA100 80GBは約6.77 CU/hだったため、21分の学習なら約2.37 CU、従量課金価格では約$0.24相当。数十円くらいですね。RTX5090とか100万円のグラボを買わなくてもいいってことです。


    まとめ

    今回、Qwen Image 2.1のLoRAをGoogle ColabのA100 80GBで学習しました!

    キャラクター再現性については期待した結果になりませんでしたが、学習自体は正常です。そして何より、

    RTX 4070で約2時間かかる学習を、A100 80GBなら約21分で終えられる

    のはかなり便利でした!

    基本的にはローカルPCのRTX4070で学習していきますが、どうしてもローカルGPUが空いていない時や、学習が困難な大規模モデルのときはColab使っても良いかなと思いました。

    学習ではなく推論で使っても良いですからね。ただ、nsfwなものはBANされる可能性があるので、「真面目な」画像・動画生成だけですけどねー。


    最後まで読んでいただき、ありがとうございました!

    もしこの記事が「面白かった!」と感じていただけたら、ぜひ画面下の【スキ(ハートマーク)】を押していただけると、検証の苦労が吹き飛ぶほど励みになります!

    これからもローカルAIの面白い検証や実践的なノウハウをどんどん発信していきますので、フォローもぜひよろしくお願いいたします!

     
     
    かみもと ひろた(神下紘汰)。ソフトウェアエンジニア+R&Dエンジニア。Codex + Claude使い(Geminiはオマケ)。コスパの良いRTX4070のローカル環境で画像生成・音声生成・LLMを実行させたり、アプリ開発したり、最新技術のフォローアップをしたりします。

    あなたへのおすすめ