
ComfyUIでAnimaのControlNet-VACE-Depthと派生モデル➂を試してみた
Anima用のdepthモデルですね。
以下で紹介した方法でも、depthを利用したanimaの画像生成は実現できますが、今回のモデルはdepthに特化したモデルというイメージですね。
あと、今回もdepthだけだと物足りないので、派生モデルを触っていきます。
1つ目は、美的にセンス向上モデルのanima-aestheticがv1.1にバージョンアップしたので、これを試します。
2つ目は、話題のOne obsession Animaがバージョンアップしたので試します。

3つ目は、絵柄が良さそうな、PrismaPalette Animaです。

Anima baseについて以下で紹介しているので、興味があればご覧ください。
また、previewの1,2,3も紹介しているので、興味があればご覧ください。
環境
OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:128G
構築手順
以下のコマンドでカスタムノードをインストールして、ComfyUIを最新化してください。
cd ComfyUI\custom_nodes
git clone --branch feat/anima-vace-controlnet https://github.com/TaihoC/ComfyUI-Advanced-ControlNet-Anima.git
git clone https://github.com/bedovyy/ComfyUI-WD-Timm-Tagger.gitプログラムの一部を修正する必要があります。
ComfyUI\custom_nodes\ComfyUI-Advanced-ControlNet-Anima\adv_control\control_anima_vace.pyの451行目を以下のように修正
修正前
dit = self._dit_ref
if dit is not None:
x_5d = x_noisy if x_noisy.ndim == 5 else x_noisy.unsqueeze(2)
x_B_T_H_W_D, rope_emb, extra_pos_emb = dit.prepare_embedded_sequence(x_5d)
timestep = self.model_sampling_current.timestep(t)
if timestep.ndim == 1:
timestep = timestep.unsqueeze(1)
t_emb, adaln_lora = dit.t_embedder(timestep.to(x_B_T_H_W_D.device))
t_emb = dit.t_embedding_norm(t_emb)修正後
dit = self._dit_ref
if dit is not None:
x_5d = x_noisy if x_noisy.ndim == 5 else x_noisy.unsqueeze(2)
# x_noisy arrives in the sampler's fp32; the base forward normally
# casts before x_embedder, so mirror that here (legacy full-load
# ops do not auto-cast weights).
x_5d = x_5d.to(next(dit.x_embedder.parameters()).dtype)
x_B_T_H_W_D, rope_emb, extra_pos_emb = dit.prepare_embedded_sequence(x_5d)
timestep = self.model_sampling_current.timestep(t)
if timestep.ndim == 1:
timestep = timestep.unsqueeze(1)
# Match the base forward: sinusoidal embedding in fp32, then cast
# before the bf16 MLP (predict2 forward_orig does the same).
t_emb, adaln_lora = dit.t_embedder[1](
dit.t_embedder[0](timestep.to(x_B_T_H_W_D.device)).to(x_B_T_H_W_D.dtype))
t_emb = dit.t_embedding_norm(t_emb)以下のファイルに差し替えるでもよいです。
ComfyUI-WD-Timm-Taggerのカスタムノードはこの記事で紹介した、画像からタグを生成するカスタムノードです。
モデル
anima-base-v1.0.safetensorsをダウンロードして「ComfyUI\models\diffusion_models」に配置
qwen_3_06b_base.safetensorsをダウンロードして「ComfyUI\models\text_encoders」に配置
qwen_image_vae.safetensorsをダウンロードして「ComfyUI\models\vae」に配置
anima-vace-depth.safetensorsをダウンロードして「ComfyUI\models\controlnet」に配置
ワークフロー(depth)
ワークフローは以下です。

生成結果
生成結果は以下です。
生成時間は80秒で、VRAMは12GBでした。

派生モデル
尺稼ぎのように繰り返し紹介している派生モデルは、一括で試しちゃいます。
必要に応じてダウンロードして「ComfyUI\models\diffusion_models」に配置してください。
1つ目は、美的にセンス向上モデルのanima-aesthetic-v1.1.safetensorsです。
以下の記事で紹介した、anima-aesthetic-v1.0.safetensorsのアップデートモデルですね。
2つ目は、話題のoneObsessionAnima_v20.safetensorsですね。
以下で紹介しているoneObsessionAnima_v10.safetensorsのバージョンアップモデルです。
3つ目は絵柄が好みのprismpaletteANIMA_v1.safetensorsです。
ワークフローは以下です。

生成結果は以下です。


感想
depthは強度を下げた方が綺麗ですね。今回は0.5ぐらいにしました。
派生モデルは、今回はprismpaletteANIMA_v1.safetensorsがお気に入りですねぇ。