メインコンテンツへスキップ
見出し画像

MOSS-imageのLoRA作成まとめ

    試したことを淡々と書くだけなので前置きとか無いです。
    追加学習の経験があり、MOSSとかAnimaを把握している人向け。
    検証途中の画像はすぐに捨てちゃうので、Twitterペタペタ貼ってるのは許して欲しい。

    MOSS-image is 何?

    目の前にある端末で調べれば基本はわかるし、詳細なpaperも出ているのでそれを参照してもらうとして、個人的に重要なポイントが下記。

    Anime onlyのモデルではない
    知識が豊富で古典的手法もカバーしている。
    その代わり何も指定しないと実写が出てビックリするし、[an anime illustration of~]とか書いてもStyleの幅が広すぎて不安定。

    文字がキレイに書ける
    画数の多い漢字もちゃんと書けるし、ちゃんと日本語の漢字として出力される。オープンなモデルで一番上手いのでは?くらいのキレイさ。

    構造化されたPrompt
    座標指定で人物や小物の場所を指示できる。左右が食い違ったりする状況とはサヨナラ!
    でも人間が手動で書くのは面倒なので、それ用のノード使ったり、LLMに支援させよう(構造化Promptはマストではないので、細かい指定が不要なら従来の感覚と変わらない)

    sd-scriptsがMOSS-imageに対応

    これが無いと始まらない。Kohyaサンいつもありがとう。
    パラメータはAnimaと同じ感覚で概ね問題ないが、MOSS-image用のパラメータもあるので要注意。
    でもAnimaで使っていたコマンドをLLMに渡せば直してくれるから問題ない。

    ①Style LoRA(ふつうに学習)

    とりあえず自作のXLモデル(NONAMEmix-Vpred_v3)で生成した画像500枚でStyle学習を試した。
    Animaからの主な変更点は下記の通り。

    画像
    Anima向けからの主な変更点をAstraがまとめた画像

    実際に使ったコマンド(可読性のために改行している、PowerShell向け)
    この段階ではOptimizerはCAMEで、LRは4e-5
    あとtimestepはsigmoidからshiftに変更している(MOSSの学習ガイドに書いてあったので)

    accelerate launch `
      --num_cpu_threads_per_process 1 `
      moss_image_train_network.py `
      --pretrained_model_name_or_path "F:\ComfyUI\models\diffusion_models\moss_image_base_int8_convrot.safetensors" `
      --text_encoder "F:\ComfyUI\models\text_encoders\qwen3.5_9b_int8_convrot.safetensors" `
      --vae "F:\ComfyUI\models\vae\flux2-vae.safetensors" `
      --train_data_dir "F:\Train\Lora" `
      --output_dir "F:\Train\Output" `
      --output_name "Rouwei-style_MOSS" `
      --network_module "networks.lora_generic" `
      --network_train_unet_only `
      --network_dim 4 `
      --network_alpha 4 `
      --sdpa `
      --gradient_checkpointing `
      --persistent_data_loader_workers `
      --max_data_loader_n_workers 1 `
      --cache_latents `
      --cache_latents_to_disk `
      --cache_text_encoder_outputs `
      --cache_text_encoder_outputs_to_disk `
      --enable_bucket `
      --resolution 1024 `
      --min_bucket_reso 512 `
      --max_bucket_reso 2048 `
      --resize_interpolation "lanczos" `
      --caption_extension ".txt" `
      --train_batch_size 1 `
      --gradient_accumulation_steps 4 `
      --max_train_epochs 4 `
      --learning_rate 4e-05 `
      --optimizer_type "pytorch_optimizer.CAME" `
      --lr_scheduler "cosine_with_restarts" `
      --lr_scheduler_num_cycles 4 `
      --lr_warmup_steps 0.06 `
      --timestep_sampling "shift" `
      --discrete_flow_shift 3 `
      --sigmoid_scale 1 `
      --loss_type "l2" `
      --scale_weight_norms 1 `
      --mixed_precision "bf16" `
      --save_precision "bf16" `
      --save_model_as "safetensors" `
      --save_every_n_epochs 1 `
      --disable_mmap_load_safetensors

    結果は良好に見える。でもひと手間加えてオリジナリティを出したくなるよね(料理下手並感)

    sd-scripts が MOSS-image に対応したので、手元のデータセット(生成画像500枚)でStyleを学習させてみた。
    学習が正常に行われたことはわかったので、パラメータはこれから考える。

    500枚 * 4 epoch = 2,000 steps で2時間ちょっとかかった。
    ← MOSS-imege SFT / +LoRA → pic.twitter.com/0NxjdOZJoH

    — エマノン (@Emanon_14) October 19, 2026

    ②Style LoRA(FFN層のみ)

    AnimaでMLP層だけ学習すると画風以外の余計な要素が切り離せて良いという体感に基づき、FFN層のみ(Attentionを除外)を学習させてみた。
    オプションとして下記を追加。

    --network_args "exclude_patterns=['.*']" "include_patterns=['.*ffn.*']"

    結果はなんか微妙(あとFNN層ってなんだ)

    StyleなんてAttention層関係なくね?理論でFNN層のみ学習させてみたんだけど、やたらと髪にアクセサリー付け始めるようになった。
    何かがおかしくなってる説ある。

    ← 全層 / FNN層のみ → pic.twitter.com/YJHMmykPwH

    — エマノン (@Emanon_14) October 19, 2026

    ③Style LoRA(FFN_down層のみ)

    AnimaにおけるMLP層のみの学習がテキスト条件そのものやCross-Attentionの重みは直接変更しないのに対し、MOSS-imageのFFN層はテキスト特徴も変更するから同じじゃねーよとAstraに言われたので、更にFFN_downのみに限定したらどうだろうという試み。
    段々paper読まないとわからない話になってきた、正直ボクもよくわかってない。

    --network_args "exclude_patterns=['.*']" "include_patterns=['layers[.][0-9]+[.]proj[.]ffn_down']"

    結果はなんか良い感じなので、Style LoRAの学習にはFFN_down層のみを学習させようと思いました。

    同じ条件でffn_down層のみに学習させた結果、ポジティブな効果があった。
    1枚目:全層学習がポーズが大幅に変わっているのに対し、ffn_downのみは概ね維持
    2枚目:全層学習が腕と胸の位置関係が変わってしまったのに対し、ffn_downのみは同一。
    3, 4枚目:MOSSの画風の幅広すぎだけど補正できてる証左 https://t.co/DAhFmLOXop pic.twitter.com/8RJ9i1bk13

    — エマノン (@Emanon_14) October 21, 2026

    ④スライダーLoRA

    新しいオープンモデル出たらおっぱいスライダーを作って状況把握する。
    学習時のseed固定するの忘れて1回失敗する。
    seed固定したらちゃんと成功しました。オプションはちゃんと全部読もうね。

    寝て起きたら学習時のseed指定してなかったことに気づいた。
    これにてMOSS-imageのスライダーLoRA作成RTAは終了とする。

    順にWeight -1 / 0 / +1 https://t.co/W0KULtYuI2 pic.twitter.com/YAvhsCmLXa

    — エマノン (@Emanon_14) October 20, 2026
    accelerate launch `
      --num_cpu_threads_per_process 1 `
      moss_image_train_network.py `
      --pretrained_model_name_or_path "F:\ComfyUI\models\diffusion_models\moss_image_base_int8_convrot.safetensors" `
      --text_encoder "F:\ComfyUI\models\text_encoders\qwen3.5_9b_int8_convrot.safetensors" `
      --vae "F:\ComfyUI\models\vae\flux2-vae.safetensors" `
      --train_data_dir "F:\Train\Lora" `
      --output_dir "F:\Train\Output" `
      --output_name "breasts_t" `
      --network_module "networks.lora_generic" `
      --network_train_unet_only `
      --network_dim 4 `
      --network_alpha 4 `
      --sdpa `
      --gradient_checkpointing `
      --persistent_data_loader_workers `
      --max_data_loader_n_workers 1 `
      --cache_latents `
      --cache_latents_to_disk `
      --cache_text_encoder_outputs `
      --cache_text_encoder_outputs_to_disk `
      --enable_bucket `
      --resolution 1024 `
      --min_bucket_reso 512 `
      --max_bucket_reso 2048 `
      --resize_interpolation "lanczos" `
      --caption_extension ".txt" `
      --train_batch_size 2 `
      --gradient_accumulation_steps 2 `
      --max_train_epochs 5 `
      --learning_rate 5e-05 `
      --optimizer_type "pytorch_optimizer.CAME" `
      --lr_scheduler "constant" `
      --lr_scheduler_num_cycles 4 `
      --lr_warmup_steps 0 `
      --timestep_sampling "shift" `
      --discrete_flow_shift 3 `
      --sigmoid_scale 1 `
      --loss_type "l2" `
      --scale_weight_norms 1 `
      --mixed_precision "bf16" `
      --save_precision "bf16" `
      --save_model_as "safetensors" `
      --save_every_n_epochs 5 `
      --disable_mmap_load_safetensors `
      --seed 42

    その他の備忘

    学習はAnimaより重い。時間がかかる。
    時間がかかるのでOptimizerは相変わらずCAMEが強い気がする。
    でも、RAdamScheduleFreeが好き。
    CAMEならLR = 5e-5、RAdamScheduleFreeならLR = 2e-4くらいで良さそう(学習対象にもよる)

    お し ま い

     
     
    バーチャルネットエルフ 趣味は脳内エルフの具現化 Noteにはゲームの考察などを書くはずだったが、stable diffusion関連(主にLoRAの作成)の記事で埋まった

    あなたへのおすすめ