
【Hunyuan3D】猫を3Dにして回す③
こんにちは。
前回は、イラストの猫に色を付けて、ぐるっと回しました。
今回は、イラストではなく実写風の猫で同じことを試してみたいと思います。
3Dにしたいのは、この猫です。
AIに描いてもらった、太った猫の画像です。

そして今回の結果がこれです。

ここからは、この結果に至るまでの過程です。
横と後ろの絵を、AIに描いてもらう
手順は前回と同じにしました。
まず、正面の1枚しかない猫の、横と後ろの絵を画像生成AIに描いてもらいます。
元の画像を渡して、「この猫の正面・横・後ろを、同じポーズで横に並べて」と頼みました。
使ったのは、Codex(OpenAI)の画像生成です。

イラストのときと違って、毛並みもひげも実写風のまま、横と後ろの絵が返ってきました。
元の画像には写っていないしっぽの付け根や背中も描かれています。
毛を消して、形を作る
前回、形は模様を消した絵から、色は模様のある絵から作ることにしました。
絵の縞や目が、形を作るAIには凹凸に見えてしまうからです。
今回の猫に縞はありませんが、毛並みの筋が彫られそうだったので、同じようにしました。
「この猫を、毛も目も無い未塗装のフィギュアにして」と頼みました。

このフィギュア画像からも、3面図を描いてもらいました。

この3枚を、前回と同じHunyuan3D-2mv(絵を複数枚まとめて受け取るモデル)に渡しました。
設定は、Steps 30、octree 384です。

面の数は1,123,104でした。
毛の筋は彫られず、つるんとした猫になりました。
耳と鼻、前足の指、足の裏の肉球は形として残っています。
4方向を塗ってもらったら、イラストになった
ここに色を付けます。これも前回と同じ流れです。
灰色の猫を正面・左・後ろ・右から撮り、その画像と元の画像をAIに渡して、「この灰色の猫に、この画像の色を塗って」と頼みました。
塗りに使ったのは、Nano Banana Pro(Google)です。

返ってきたのは、イラストの猫でした。
輪郭は灰色の形とぴったり重なっています。
重なりを0〜1で測ると(1.00が完全一致)、4枚とも1.00でした。
ただ、毛並みが消えて、平らな色で塗り分けた絵になっていました。
後ろの絵には、元の画像に無い縞まで描かれています。
形は合っているので、このまま貼ることもできます。
ただ、それでは実写風の猫になりません。
頼む文を直す
AIに渡した文を読み直しました。
前回のイラストの猫のときに書いた文を、ほぼそのまま使っていました。
その中に、こういう2行がありました。
The model has NO fur texture and NO individual hairs on purpose, and it
must stay that way: paint the fur as flat colour regions, not as strands.「毛は1本ずつ描かず、平らな色の面で塗る」という意味です。
イラストの猫では、これで塗りがそろっていました。
実写風の猫でも同じ文が入っていたので、AIはそのとおりに塗ったことになります。
この2行を、次の3行に書き換えました。
The model has NO sculpted fur texture on purpose: the fur, its strands,
its direction and the whiskers are PAINTED detail. Paint them onto the
smooth surface exactly as image 2 shows them, as real photographic fur.「毛並みとひげは形には彫らないが、絵としては描く」という意味です。
あわせて、元の画像の呼び方を2か所、illustration(イラスト)からphotograph(写真)に変えました。
変えたのは頼む文だけです。灰色の画像も元の画像も同じものを渡しました。

毛並みが戻りました。
輪郭の重なりは、正面0.99、左1.00、後ろ0.99、右0.99です。

頼む文を直しただけで、イラストが実写風に変わりました。
2行の書き換えと呼び方の変更は同時にやったので、どちらが効いたのかまでは分けて確かめていません。
文が長くなると、古い指示が1つ残っていても気づきにくいと感じました。
残りの6方向は、動画から取る
斜め下の4方向と、真上・真下は、前回と同じく動画から取りました。
灰色の猫の周りをカメラが一周する動画をBlenderで作り、それをお手本にして、動画生成AIに色付きで同じ動きの動画を作ってもらいます。
使ったのはMiniMax H3で、自分のPCのComfyUIで動かしました。
さっきの4方向の絵も、色の見本として一緒に渡しています。

768×768ピクセル、90コマ、Steps 24で、生成には約11分かかりました。

猫が回っているように見えますが、これは動画なので、3Dではありません。
1コマずつが絵で、裏側に形があるわけではないので、好きな角度から見ることはできません。
ここから、欲しい角度のコマを絵として切り出します。
静止画を6枚頼むのではなく動画にしたのは、角度ごとに毛の色や描き方がばらつくのを抑えたかったからです。
1本の動画なら、隣り合うコマがつながっているので、どの角度も同じ猫として描かれます。
お手本の灰色の動画は、何コマ目でカメラがどこにいるかを決めて作ってあるので、切り出したコマのカメラ位置もわかります。
動画のコマは768ピクセルと小さいので、毛並みを貼るには粗いと考えました。
そこで、切り出したコマをReal-ESRGAN(画像を拡大するAI)で4倍の3072ピクセルに拡大してから使いました。
拡大の前後で、輪郭の重なりは0.99以上でした。
10方向から貼る
10方向の絵がそろったので、撮ったときと同じカメラ位置から猫に貼り戻しました。
貼った結果は、テクスチャ(表面の色をまとめた画像)1枚にまとまります。

猫の表面を14,257枚の切れ端に分けて、2048×2048ピクセルの1枚に敷き詰めてあります。
これを猫に貼ると、こうなりました。

顔の毛並みとひげ、閉じた目、お腹の明るい毛まで貼られました。
ただ、右の脇腹と後ろの肩に、白っぽい筋が数か所残りました。
全体の色も、元の画像より少し暗くなっています。
この2つは、まだ直せていません。
回す
ターンテーブルは、前回作ったものと同じ設定で作りました。
レンダーエンジンはEevee、サンプル数は16です。
レンダリングは120フレームで約40秒でした。

動いているものはこちらです。

照明を当てると、色の暗さはあまり気になりませんでした。
白い筋は、横を向いたときに見えます。
ついでに茶トラにしてみた
形はそのままで、毛の色だけ変えられないか試しました。
できあがった猫を6方向から撮って、1枚に並べます。
この1枚をAIに渡して、「毛の色と模様だけを茶トラに変えて」と頼みました。
1枚にまとめたのは、縞が方向ごとにばらばらにならないようにするためです。
頼んだ文は次のとおりです。
The input image is a 2 x 3 grid of views of ONE and the SAME cat, a 3D model photographed from different directions:
- row 1, column 1: front view (the cat faces the camera)
- row 1, column 2: side view from the cat's left
- row 1, column 3: back view (seen from behind)
- row 2, column 1: side view from the cat's right
- row 2, column 2: top view (seen from directly above)
- row 2, column 3: front view from below
Change ONLY the colour and pattern of the cat's fur so that it has an ORANGE TABBY (ginger) coat: warm orange-ginger base fur with darker rust-orange tabby stripes (mackerel stripes on the sides, rings on the legs, a classic 'M' marking on the forehead, stripes running down the back) and pale cream fur on the chin, muzzle and chest.
Rules:
- It is ONE cat with ONE coat. A stripe or patch seen in one cell must appear at the same place on the body in every other cell that sees that part of the body (the back seen from the top, the back view and the side views; the flanks seen from the side and from the front and back).
- Keep every cell's silhouette, pose, size, position and framing EXACTLY as in the input. Do not move, rotate, crop or rescale anything. Keep the grid layout and the pure white background.
- Keep the eyes, nose shape, ears, whiskers and fur length. The nose leather and paw pads may take colours natural for this coat.
- Photographic, realistic fur with soft-edged stripes that follow the fur. Even, flat studio lighting: no cast shadows, no strong highlights, no vignetting.
- Output one image with the same grid, same size.
6つとも、ポーズも大きさも変わらずに茶トラになりました。
返ってきた絵を6枚に切り分けて、同じ形に貼り直しました。
貼り直しは77秒でした。動画は作り直していません。

背中の縞が、後ろ・横・真上でつながっていました。
しっぽの輪の模様も、どの方向から見ても同じ位置にあります。

今日わかったこと3つ
実写風の画像でも、イラストのときと同じ手順で3Dになった
頼む文にイラスト用の指示(「平らな色で塗る」と「illustration」)が残っていると、実写風の猫がイラストに戻った
形はそのままで、6方向を並べた絵を塗り替えてもらうと、毛の色を変えられた
おまけ:宇宙を漂わせて、作業用BGMの動画にした
猫がせっかく回るようになったので、ターンテーブルの台から降ろして、宇宙に浮かべてみました。
変えたのは、回転の軸を傾けること、ゆっくり揺れながら漂うこと、背景を星空にすること、最後のコマが最初のコマにつながることの4つです。

床を消して、回転の軸を手前に約27度、横に約17度傾けてあります。
そこに、20秒で1往復するゆっくりした揺れと、上下左右の小さな動きを足しました。
最初は猫が白っぽく写ったので、照明を弱めて、色の変換をAgXからStandardに変え、元の画像の灰色に近づけました。
480コマ(24fpsで20秒)のレンダリングは、1920×1080で約90秒でした。
最後のコマと最初のコマの差は、隣り合うコマの差と同じ大きさで、つなぎ目は見てもわかりませんでした。

音は、Google Flow Musicで作りました。
頼んだ文は次のとおりです。
Instrumental ambient loop for a work/study BGM video of a fat grey cat slowly drifting through outer space. Slow, calm, weightless: soft warm synth pads, gentle electric piano notes, subtle sub bass, faint sparkling textures like distant stars. Around 70 BPM, no vocals, no drums or only very soft pulses, no sudden changes, no big build-up or drop. It must loop seamlessly: the ending should flow back into the beginning with the same chords and the same intensity, no fade-in and no fade-out.2分40秒の曲が2つ返ってきました。
「ループするように」と頼みましたが、1曲目は最後の2.4秒が無音で、そのまま繰り返すと途切れます。
そこで、曲の終わりと頭を6秒ずつ重ねてつなぎました。使ったのは2曲目です。
20秒の映像と2分40秒の曲をそれぞれ繰り返して、10分の動画にしました。
【次の記事】
【おすすめ記事】