AMUSE Anima 4bit動作その後どうなった?
前回のnoteで書いた通り、AMUSEにAnimaとAMDでの画像生成で4bit化が実装されました。
その際、4bitでは画質が著しく劣化してしまう事を公開しました。
4bitで動作させた理由の一つとして、自環境のVRAM16GBでは、Animaで832×1280サイズを連続生成するとメモリオーバーフローが発生し、生成が失敗してしまうためです。
その後幾つかの検証を行い安定したのでnoteにします。
・4bitで画質が劣化する原因
当初は4bit変換の際VAEも4bit化される為、最終生成結果が劣化すると考えられた。
そこで、AMUSEの動作ログを確認すると以下の事が判明。
・VAEは4bit変換されない
・VAE・LoRA以外は4bit変換される

囲んだ箇所が4bit変換されている箇所となります。
テキストエンコーダーとトランスフォーマーがBF16からQ4へ圧縮されています。
しかしその後に続くVAEは圧縮されていません。
LoRAも同様に非圧縮です。
VAEが圧縮されていない事はAMUSEの製作者さんもコメントしていました。

つまり、画質劣化の原因は4bit化自体であり、4bit化を成立させるには新規でVAEを作成する必要が有りそうです。
・安定生成手法
と、いうことで4bit化によるメモリオーバーフロー対策は不能となりました。
そこで生成理由を見直しました。
-832×1280で生成するにはスマホ縦表示に対応するため
-生成物を商売に使用しないので、ある程度の画質低下と生成サイズには妥協が出来る
上記2点から、生成サイズを小さくしアップスケーラーを使用する事にしました。
順番は前後していますが、以下結果です。

生成サイズが小さくなったので、アップスケールしてもかなり高速で生成出来る様になりました。
また、狙い通りVRAMの使用量も16GBに収まっています。

4枚連続生成が出来ました。4枚連続生成でトータル約55秒でした。1枚で生成した場合と比べ1枚あたりの生成時間はほぼ同じとなります。
過去画像生成を行なっていたから、生成サイズを小さくするというアプローチを見つけられました。
デメリットとしては、瞳の中の描き込みが出来ない、もしくは甘くなるといった細い箇所で、画質の低下が発生します。
微妙にVRAMが足らず、メモリオーバーフローが発生して困っている方は、試しに画像生成サイズを見直してみては如何でしょうか。