メインコンテンツへスキップ

AMUSE Anima 4bit動作その後どうなった?

    前回のnoteで書いた通り、AMUSEにAnimaとAMDでの画像生成で4bit化が実装されました。
    その際、4bitでは画質が著しく劣化してしまう事を公開しました。
    4bitで動作させた理由の一つとして、自環境のVRAM16GBでは、Animaで832×1280サイズを連続生成するとメモリオーバーフローが発生し、生成が失敗してしまうためです。

    その後幾つかの検証を行い安定したのでnoteにします。

    ・4bitで画質が劣化する原因
    当初は4bit変換の際VAEも4bit化される為、最終生成結果が劣化すると考えられた。
    そこで、AMUSEの動作ログを確認すると以下の事が判明。
    ・VAEは4bit変換されない
    ・VAE・LoRA以外は4bit変換される

    画像
    AMUSE動作ログ

    囲んだ箇所が4bit変換されている箇所となります。
    テキストエンコーダーとトランスフォーマーがBF16からQ4へ圧縮されています。
    しかしその後に続くVAEは圧縮されていません。
    LoRAも同様に非圧縮です。
    VAEが圧縮されていない事はAMUSEの製作者さんもコメントしていました。

    画像
    AMUSE Github issuesより

    つまり、画質劣化の原因は4bit化自体であり、4bit化を成立させるには新規でVAEを作成する必要が有りそうです。

    ・安定生成手法
    と、いうことで4bit化によるメモリオーバーフロー対策は不能となりました。
    そこで生成理由を見直しました。
    -832×1280で生成するにはスマホ縦表示に対応するため
    -生成物を商売に使用しないので、ある程度の画質低下と生成サイズには妥協が出来る

    上記2点から、生成サイズを小さくしアップスケーラーを使用する事にしました。
    順番は前後していますが、以下結果です。

    画像
    416×640生成+アップスケール×2 単独生成

    生成サイズが小さくなったので、アップスケールしてもかなり高速で生成出来る様になりました。
    また、狙い通りVRAMの使用量も16GBに収まっています。

    画像
    416×640生成+アップスケール×2 4枚連続生成

    4枚連続生成が出来ました。4枚連続生成でトータル約55秒でした。1枚で生成した場合と比べ1枚あたりの生成時間はほぼ同じとなります。

    過去画像生成を行なっていたから、生成サイズを小さくするというアプローチを見つけられました。
    デメリットとしては、瞳の中の描き込みが出来ない、もしくは甘くなるといった細い箇所で、画質の低下が発生します。

    微妙にVRAMが足らず、メモリオーバーフローが発生して困っている方は、試しに画像生成サイズを見直してみては如何でしょうか。

     
     
    ニッチなUMPC GPDPocket4を手に入れてから書き手に回りました。せっかくなのでニッチな生成AI等を書くことにしました。AIは道具派です。

    あなたへのおすすめ