
MOSS-imageのLoRA作成まとめ
試したことを淡々と書くだけなので前置きとか無いです。
追加学習の経験があり、MOSSとかAnimaを把握している人向け。
検証途中の画像はすぐに捨てちゃうので、Twitterペタペタ貼ってるのは許して欲しい。
MOSS-image is 何?
目の前にある端末で調べれば基本はわかるし、詳細なpaperも出ているのでそれを参照してもらうとして、個人的に重要なポイントが下記。
Anime onlyのモデルではない
知識が豊富で古典的手法もカバーしている。
その代わり何も指定しないと実写が出てビックリするし、[an anime illustration of~]とか書いてもStyleの幅が広すぎて不安定。
文字がキレイに書ける
画数の多い漢字もちゃんと書けるし、ちゃんと日本語の漢字として出力される。オープンなモデルで一番上手いのでは?くらいのキレイさ。
構造化されたPrompt
座標指定で人物や小物の場所を指示できる。左右が食い違ったりする状況とはサヨナラ!
でも人間が手動で書くのは面倒なので、それ用のノード使ったり、LLMに支援させよう(構造化Promptはマストではないので、細かい指定が不要なら従来の感覚と変わらない)
sd-scriptsがMOSS-imageに対応
これが無いと始まらない。Kohyaサンいつもありがとう。
パラメータはAnimaと同じ感覚で概ね問題ないが、MOSS-image用のパラメータもあるので要注意。
でもAnimaで使っていたコマンドをLLMに渡せば直してくれるから問題ない。
①Style LoRA(ふつうに学習)
とりあえず自作のXLモデル(NONAMEmix-Vpred_v3)で生成した画像500枚でStyle学習を試した。
Animaからの主な変更点は下記の通り。

実際に使ったコマンド(可読性のために改行している、PowerShell向け)
この段階ではOptimizerはCAMEで、LRは4e-5
あとtimestepはsigmoidからshiftに変更している(MOSSの学習ガイドに書いてあったので)
accelerate launch `
--num_cpu_threads_per_process 1 `
moss_image_train_network.py `
--pretrained_model_name_or_path "F:\ComfyUI\models\diffusion_models\moss_image_base_int8_convrot.safetensors" `
--text_encoder "F:\ComfyUI\models\text_encoders\qwen3.5_9b_int8_convrot.safetensors" `
--vae "F:\ComfyUI\models\vae\flux2-vae.safetensors" `
--train_data_dir "F:\Train\Lora" `
--output_dir "F:\Train\Output" `
--output_name "Rouwei-style_MOSS" `
--network_module "networks.lora_generic" `
--network_train_unet_only `
--network_dim 4 `
--network_alpha 4 `
--sdpa `
--gradient_checkpointing `
--persistent_data_loader_workers `
--max_data_loader_n_workers 1 `
--cache_latents `
--cache_latents_to_disk `
--cache_text_encoder_outputs `
--cache_text_encoder_outputs_to_disk `
--enable_bucket `
--resolution 1024 `
--min_bucket_reso 512 `
--max_bucket_reso 2048 `
--resize_interpolation "lanczos" `
--caption_extension ".txt" `
--train_batch_size 1 `
--gradient_accumulation_steps 4 `
--max_train_epochs 4 `
--learning_rate 4e-05 `
--optimizer_type "pytorch_optimizer.CAME" `
--lr_scheduler "cosine_with_restarts" `
--lr_scheduler_num_cycles 4 `
--lr_warmup_steps 0.06 `
--timestep_sampling "shift" `
--discrete_flow_shift 3 `
--sigmoid_scale 1 `
--loss_type "l2" `
--scale_weight_norms 1 `
--mixed_precision "bf16" `
--save_precision "bf16" `
--save_model_as "safetensors" `
--save_every_n_epochs 1 `
--disable_mmap_load_safetensors結果は良好に見える。でもひと手間加えてオリジナリティを出したくなるよね(料理下手並感)
sd-scripts が MOSS-image に対応したので、手元のデータセット(生成画像500枚)でStyleを学習させてみた。
— エマノン (@Emanon_14) October 19, 2026
学習が正常に行われたことはわかったので、パラメータはこれから考える。
500枚 * 4 epoch = 2,000 steps で2時間ちょっとかかった。
← MOSS-imege SFT / +LoRA → pic.twitter.com/0NxjdOZJoH
②Style LoRA(FFN層のみ)
AnimaでMLP層だけ学習すると画風以外の余計な要素が切り離せて良いという体感に基づき、FFN層のみ(Attentionを除外)を学習させてみた。
オプションとして下記を追加。
--network_args "exclude_patterns=['.*']" "include_patterns=['.*ffn.*']"結果はなんか微妙(あとFNN層ってなんだ)
StyleなんてAttention層関係なくね?理論でFNN層のみ学習させてみたんだけど、やたらと髪にアクセサリー付け始めるようになった。
— エマノン (@Emanon_14) October 19, 2026
何かがおかしくなってる説ある。
← 全層 / FNN層のみ → pic.twitter.com/YJHMmykPwH
③Style LoRA(FFN_down層のみ)
AnimaにおけるMLP層のみの学習がテキスト条件そのものやCross-Attentionの重みは直接変更しないのに対し、MOSS-imageのFFN層はテキスト特徴も変更するから同じじゃねーよとAstraに言われたので、更にFFN_downのみに限定したらどうだろうという試み。
段々paper読まないとわからない話になってきた、正直ボクもよくわかってない。
--network_args "exclude_patterns=['.*']" "include_patterns=['layers[.][0-9]+[.]proj[.]ffn_down']"結果はなんか良い感じなので、Style LoRAの学習にはFFN_down層のみを学習させようと思いました。
同じ条件でffn_down層のみに学習させた結果、ポジティブな効果があった。
— エマノン (@Emanon_14) October 21, 2026
1枚目:全層学習がポーズが大幅に変わっているのに対し、ffn_downのみは概ね維持
2枚目:全層学習が腕と胸の位置関係が変わってしまったのに対し、ffn_downのみは同一。
3, 4枚目:MOSSの画風の幅広すぎだけど補正できてる証左 https://t.co/DAhFmLOXop pic.twitter.com/8RJ9i1bk13
④スライダーLoRA
新しいオープンモデル出たらおっぱいスライダーを作って状況把握する。
学習時のseed固定するの忘れて1回失敗する。
seed固定したらちゃんと成功しました。オプションはちゃんと全部読もうね。
寝て起きたら学習時のseed指定してなかったことに気づいた。
— エマノン (@Emanon_14) October 20, 2026
これにてMOSS-imageのスライダーLoRA作成RTAは終了とする。
順にWeight -1 / 0 / +1 https://t.co/W0KULtYuI2 pic.twitter.com/YAvhsCmLXa
accelerate launch `
--num_cpu_threads_per_process 1 `
moss_image_train_network.py `
--pretrained_model_name_or_path "F:\ComfyUI\models\diffusion_models\moss_image_base_int8_convrot.safetensors" `
--text_encoder "F:\ComfyUI\models\text_encoders\qwen3.5_9b_int8_convrot.safetensors" `
--vae "F:\ComfyUI\models\vae\flux2-vae.safetensors" `
--train_data_dir "F:\Train\Lora" `
--output_dir "F:\Train\Output" `
--output_name "breasts_t" `
--network_module "networks.lora_generic" `
--network_train_unet_only `
--network_dim 4 `
--network_alpha 4 `
--sdpa `
--gradient_checkpointing `
--persistent_data_loader_workers `
--max_data_loader_n_workers 1 `
--cache_latents `
--cache_latents_to_disk `
--cache_text_encoder_outputs `
--cache_text_encoder_outputs_to_disk `
--enable_bucket `
--resolution 1024 `
--min_bucket_reso 512 `
--max_bucket_reso 2048 `
--resize_interpolation "lanczos" `
--caption_extension ".txt" `
--train_batch_size 2 `
--gradient_accumulation_steps 2 `
--max_train_epochs 5 `
--learning_rate 5e-05 `
--optimizer_type "pytorch_optimizer.CAME" `
--lr_scheduler "constant" `
--lr_scheduler_num_cycles 4 `
--lr_warmup_steps 0 `
--timestep_sampling "shift" `
--discrete_flow_shift 3 `
--sigmoid_scale 1 `
--loss_type "l2" `
--scale_weight_norms 1 `
--mixed_precision "bf16" `
--save_precision "bf16" `
--save_model_as "safetensors" `
--save_every_n_epochs 5 `
--disable_mmap_load_safetensors `
--seed 42その他の備忘
学習はAnimaより重い。時間がかかる。
時間がかかるのでOptimizerは相変わらずCAMEが強い気がする。
でも、RAdamScheduleFreeが好き。
CAMEならLR = 5e-5、RAdamScheduleFreeならLR = 2e-4くらいで良さそう(学習対象にもよる)
お し ま い