メインコンテンツへスキップ
見出し画像

ComfyUIでAnimaのControlNet-VACE-Depthと派生モデル➂を試してみた

    Anima用のdepthモデルですね。

    以下で紹介した方法でも、depthを利用したanimaの画像生成は実現できますが、今回のモデルはdepthに特化したモデルというイメージですね。

    あと、今回もdepthだけだと物足りないので、派生モデルを触っていきます。

    1つ目は、美的にセンス向上モデルのanima-aestheticがv1.1にバージョンアップしたので、これを試します。

    2つ目は、話題のOne obsession Animaがバージョンアップしたので試します。

    画像

    3つ目は、絵柄が良さそうな、PrismaPalette Animaです。

    画像

    Anima baseについて以下で紹介しているので、興味があればご覧ください。

    また、previewの1,2,3も紹介しているので、興味があればご覧ください。


    環境

    OS:Windows 11
    GPU:GeForce RTX 4090
    CPU:i9-13900KF
    memory:128G


    構築手順

    以下のコマンドでカスタムノードをインストールして、ComfyUIを最新化してください。

    cd ComfyUI\custom_nodes
    git clone --branch feat/anima-vace-controlnet https://github.com/TaihoC/ComfyUI-Advanced-ControlNet-Anima.git
    git clone https://github.com/bedovyy/ComfyUI-WD-Timm-Tagger.git

    プログラムの一部を修正する必要があります。

    ComfyUI\custom_nodes\ComfyUI-Advanced-ControlNet-Anima\adv_control\control_anima_vace.pyの451行目を以下のように修正

    修正前

            dit = self._dit_ref
            if dit is not None:
                x_5d = x_noisy if x_noisy.ndim == 5 else x_noisy.unsqueeze(2)
                x_B_T_H_W_D, rope_emb, extra_pos_emb = dit.prepare_embedded_sequence(x_5d)
    
                timestep = self.model_sampling_current.timestep(t)
                if timestep.ndim == 1:
                    timestep = timestep.unsqueeze(1)
                t_emb, adaln_lora = dit.t_embedder(timestep.to(x_B_T_H_W_D.device))
                t_emb = dit.t_embedding_norm(t_emb)

    修正後

            dit = self._dit_ref
            if dit is not None:
                x_5d = x_noisy if x_noisy.ndim == 5 else x_noisy.unsqueeze(2)
                # x_noisy arrives in the sampler's fp32; the base forward normally
                # casts before x_embedder, so mirror that here (legacy full-load
                # ops do not auto-cast weights).
                x_5d = x_5d.to(next(dit.x_embedder.parameters()).dtype)
                x_B_T_H_W_D, rope_emb, extra_pos_emb = dit.prepare_embedded_sequence(x_5d)
    
                timestep = self.model_sampling_current.timestep(t)
                if timestep.ndim == 1:
                    timestep = timestep.unsqueeze(1)
                # Match the base forward: sinusoidal embedding in fp32, then cast
                # before the bf16 MLP (predict2 forward_orig does the same).
                t_emb, adaln_lora = dit.t_embedder[1](
                    dit.t_embedder[0](timestep.to(x_B_T_H_W_D.device)).to(x_B_T_H_W_D.dtype))
                t_emb = dit.t_embedding_norm(t_emb)

    以下のファイルに差し替えるでもよいです。


    ComfyUI-WD-Timm-Taggerのカスタムノードはこの記事で紹介した、画像からタグを生成するカスタムノードです。


    モデル

    anima-base-v1.0.safetensorsをダウンロードして「ComfyUI\models\diffusion_models」に配置

    qwen_3_06b_base.safetensorsをダウンロードして「ComfyUI\models\text_encoders」に配置

    qwen_image_vae.safetensorsをダウンロードして「ComfyUI\models\vae」に配置

    anima-vace-depth.safetensorsをダウンロードして「ComfyUI\models\controlnet」に配置


    ワークフロー(depth)

    ワークフローは以下です。

    画像


    生成結果

    生成結果は以下です。
    生成時間は80秒で、VRAMは12GBでした。

    画像


    派生モデル

    尺稼ぎのように繰り返し紹介している派生モデルは、一括で試しちゃいます。
    必要に応じてダウンロードして「ComfyUI\models\diffusion_models」に配置してください。


    1つ目は、美的にセンス向上モデルのanima-aesthetic-v1.1.safetensorsです。

    以下の記事で紹介した、anima-aesthetic-v1.0.safetensorsのアップデートモデルですね。

    2つ目は、話題のoneObsessionAnima_v20.safetensorsですね。

    以下で紹介しているoneObsessionAnima_v10.safetensorsのバージョンアップモデルです。

    3つ目は絵柄が好みのprismpaletteANIMA_v1.safetensorsです。


    ワークフローは以下です。

    画像

    生成結果は以下です。

    画像
    画像


    感想

    depthは強度を下げた方が綺麗ですね。今回は0.5ぐらいにしました。
    派生モデルは、今回はprismpaletteANIMA_v1.safetensorsがお気に入りですねぇ。

    あなたへのおすすめ