メインコンテンツへスキップ
見出し画像

ComfyUIでAnima-LLLite-Regional-Controlnetを試してみた

    Anima専用のInpaint用のControlNetモデルですね。

    こんな感じで塗った領域に、プロンプトで指定した人物を生成するための仕組みです。

    画像
    画像

    良くも悪くも、AnimaはタグでIPキャラクターが生成できるので、Animaの学習データに使われているキャラクターを塗った領域に表示するのはかなり簡単にできるようになります。

    画像

    Anima baseについて以下で紹介しているので、興味があればご覧ください。

    また、previewの1,2,3も紹介しているので、興味があればご覧ください。

    動画でも解説してます。


    環境

    OS:Windows 11
    GPU:GeForce RTX 4090
    CPU:i9-13900KF
    memory:128G


    構築手順

    以下のコマンドでカスタムノードをインストールして、ComfyUIを最新化してください。

    画像


    モデル

    anima-base-v1.0.safetensorsをダウンロードして「ComfyUI\models\diffusion_models」に配置

    qwen_3_06b_base.safetensorsをダウンロードして「ComfyUI\models\text_encoders」に配置

    qwen_image_vae.safetensorsをダウンロードして「ComfyUI\models\vae」に配置

    anima-turbo-lora-v0.2.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

    anima-lllite-regional-exp-v3.safetensorsをダウンロードして「ComfyUI\models\controlnet」に配置


    ワークフロー

    ワークフローは以下です。

    画像

    上部のプロンプトは、塗った領域に生成する人物の情報を記載します。
    下部のプロンプトでは、画像全体のプロンプトを記載します。

    画像

    このノードでは、白背景と赤い領域の画像を手動で作成しています。

    画像

    こちらの記事で使い方については、解説していますが、よくわからない場合は、ペイントツールで作成した画像をアップロードしても問題ないです。

    雑に解説すると、Canvasを開いて、赤い色を指定。

    画像

    こんな感じで適当に塗って。

    画像

    色を白にして。

    画像

    バケツにして。

    画像

    余白にバケツします。

    画像

    一応、これで完成です。


    生成結果

    生成結果は以下です。
    生成時間は13秒で、VRAMは10GBでした。

    画像


    一応、モデルの提供元がワークフローもアップロードしているので、こちらも実行してみます。

    Anima LLLite Regional Controlnet WF.json

    ワークフローは以下です。

    画像
    画像

    塗ってないので、人物をどこに生成するかは、プロンプトで指定しています。人物を2人生成しているので、こちらも参考になる部分はあると思います。

    ※解像度は64の倍数にしてください。


    感想

    ワークフロー自体も勉強になりますね。
    塗った領域に人物を生成したり、複数人を生成したりもできるみたいですね。

    あなたへのおすすめ