
【Hunyuan3D】猫を3Dにして回す②
こんにちは。
前回は、AIに描いてもらった猫の絵を自分のPCで3Dにして、ぐるっと回しました。
ただ、生成そのままの灰色の猫だったので、今回は色を付けてみたいと思います。
色を付けたいのは、この猫です。

そして前回の結果がこれです。

そこで今回は、この猫に元の絵と同じ色を付けて、もう一度回してみたいと思います。
横と後ろの絵を、AIに描いてもらう
猫の絵は正面の1枚しかありません。
そこで、横と後ろの絵も画像生成AIに描いてもらうことにしました。
元の絵を渡して、「この猫の正面・横・後ろを、同じポーズで横に並べて」と頼みました。
使ったのは、Codex(OpenAI)の画像生成です。

横顔も、背中の縞も、しっぽの縞も描かれていました。
袋の位置と足の開きも、正面の絵と揃っています。
このように、同じものを正面・横・後ろから描いて並べた絵を「3面図」と呼びます。
この3面図を3枚に切り分けて、正面・左・後ろの絵にしました。
これで、足りなかった横と後ろの絵がそろいました。
3面図から、形を作り直す
前回使ったHunyuan3Dは、絵を1枚だけ受け取るモデルでした。
同じHunyuan3Dに、正面・左・後ろ・右の4枚までをまとめて受け取るモデルがあります。
Hunyuan3D-2mv(mvはmulti-view、多視点)です。
Hunyuan3D-2mv:https://huggingface.co/tencent/Hunyuan3D-2mv
コードは Hunyuan3D-2 のリポジトリ(GitHub)のものを使いました。前回の 2.1 とは別のモデルです。
4枚すべてを渡す必要はなく、空いた枠は空のままで動きます。
今回は正面・左・後ろの3枚を渡しました。
まずは、さっきの色付きの3面図をそのまま入れてみました。
設定は、Seed 20260920、Steps 30、octree 256です。

生成は66.6秒、VRAMのピークは8,633MiB、面の数は497,360でした。
しっぽの位置も、背中の丸みも、3面図のとおりになりました。
ただ、毛の縞も、目も、袋の中のポテチも、凹凸として彫られていました。
前回、ぼかす前の絵を入れたときと同じです。
形を作るAIには、絵の縞や目が「凹凸」に見えるようです。
色は後から貼るので、形にも縞が彫られていると、縞が二重になってしまいます。
それなら、形を作るときだけ、縞も目も無い絵を渡せばいいと考えました。
これもAIに頼みました。「この猫を、模様も目も無い未塗装のフィギュアにして」。

このフィギュア画像からも、3面図を描いてもらいました。

変えたのは、入れる絵だけです。Seed、Steps、octreeは同じにしました。

生成は66.5秒、面の数は456,948でした。
縞と目が消えて、耳としっぽと肉球は残りました。
袋も袋の形のままで、中のポテチは彫られていません。
形は模様を消した絵から、色は模様のある絵から作るように、役割を分けることにしました。
灰色の猫を10方向から撮って、塗ってもらう
つるんとした灰色の猫ができたので、ここに色を付けます。
色を付ける猫は、同じフィギュアの3面図から、octreeを384に上げて作り直し、表面をならしたものにしました。
3面図の3枚だけだと、斜め下や真上・真下から見える部分の色が足りないと考えました。
そこで、10方向から貼ることにしました。
10方向は、正面・左・後ろ・右の4つ、斜め下から4つ、真上と真下です。
このうち正面・左・後ろ・右の4つは静止画で、残りの6つは動画から取りました。
まず、灰色の猫をBlenderで撮りました。
撮った灰色の画像と元の絵をAIに渡して、「この灰色の猫に、この絵の色を塗って」と頼みました。
返ってきた絵を、撮ったのと同じカメラ位置から猫に貼り戻す、という流れです。

頼むときに気をつけたのは3つです。
1つ目は、灰色の画像の形を変えずに、輪郭をそのままなぞって塗ってもらうこと。
2つ目は、影やハイライトを付けないこと。後で照明を当てるからです。
3つ目は、写っていない部分を足さないこと。後ろから見た絵に顔を描かれると困ります。

4方向とも、灰色の形とほぼぴったり重なる絵が返ってきました。
輪郭の重なりを0〜1で測ると(1.00が完全一致)、正面1.00、左1.00、後ろ0.99、右0.99でした。
後ろの絵に顔が描かれていなかったのが、いちばんほっとしたところです。
残りの6方向は、静止画ではなく動画にしました。
灰色の猫の周りをカメラが一周する動画をBlenderで作り、それをお手本にして、動画生成AIに色付きで同じ動きの動画を作ってもらいました。
使ったのはMiniMax H3という動画生成AIで、自分のPCのComfyUIで動かしました。

正面から始まり、下から見上げて、横、後ろ、真上へと回る90コマの動画です。
お手本の灰色の動画は、何コマ目でカメラがどこにいるかを決めて作ってあります。
色付きの動画も同じ動きなので、欲しい角度のコマを切り出せば、カメラの位置もわかります。
1本の動画にしたのは、角度ごとに猫の描き方がばらつくのを抑えたかったからです。
生成には約11分かかりました。
10方向から貼る
10方向の絵がそろったので、猫に貼り戻しました。
それぞれの絵を、撮ったときと同じカメラ位置から映します。
猫の面ごとに、その面をいちばん正面から見ている絵を使いました。
貼った結果は、テクスチャ(表面の色をまとめた画像)1枚にまとまります。

猫の表面を25,018枚の切れ端に分けて、2048×2048ピクセルの1枚に敷き詰めてあります。
右のほうに顔、左下に袋が見えます。
これを猫に貼ると、こうなりました。

後ろの縞、しっぽの縞、真下の肉球、耳の内側のピンクまで色が付きました。
面の数は1,091,576です。
テクスチャを4096×4096にもしてみましたが、貼り付けの途中で2回とも止まりました。
私のPC(メモリ32GB)では足りなかったようです。この猫は2048で足りていました。
ついでに色数を減らしてみた
テクスチャの色数を32色に減らしてみました。
アニメ塗りの絵なので、色を絞ればくっきりするのでは、と思ったからです。
変えたのは色数だけです。

32色にすると、ひげが消え、鼻と口が潰れ、お腹に斑点が出ました。
細い線と小さな模様が、まとめて消えてしまいました。
くっきりはしなかったので、減らす前のテクスチャに戻しました。
Blenderで開く
前回と同じく、ファイル → インポート → glTF 2.0 で読み込みました。
読み込みは0.69秒でした。

灰色のままですが、色が付いていないわけではなく、表示モードが「ソリッド」になっているからでした。
画面右上の丸いアイコンの左から3番目、マテリアルプレビューに切り替えました。

ここで初めて、自分のPCの中に色付きの猫が立体で存在していると実感しました。
マウスの中ボタンでぐるぐる回せるので、しばらく回していました。
回す
ターンテーブルは、前回作ったものをそのまま使いました。
前回の.blendを開いて、灰色の猫を消し、色付きの猫を読み込んで台の子にしています。
レンダーエンジンだけ変えました。
灰色のときはWorkbench(形だけを見る簡易表示)でしたが、色付きではEevee(照明込みで色を描く方式)にしました。
レンダープロパティのレンダーエンジンから選べます。
レンダリングは、120フレームで16.8秒でした。1フレームあたり0.14秒で、Eeveeのサンプル数は16です。

動いているものはこちらです。

今日わかったこと3つ
横と後ろの絵はAIに描いてもらえた。3枚をまとめて受け取るHunyuan3D-2mvに渡すと、しっぽの位置も背中の丸みも絵どおりになった
形は模様を消した絵から、色は模様のある絵から作ると、縞が彫られなくなった。同じSeedで、入れる絵を変えただけで変わった
10方向の絵を、撮ったカメラ位置から貼り戻すと、1枚の絵から色付きの3Dができた
次回は、イラスト調ではなくリアルな猫で試してみたいと思います。
環境
PC:Windows 11 / RTX 5060 Ti 16GB / メモリ 32GB
3面図・塗り:Codex(OpenAI)の画像生成
形:Hunyuan3D-2mv(正面・左・後ろの3枚)
形の設定:Seed 20260920 / Steps 30 / guidance 5.0 / octree 256(2回とも同じ)
形の実測(色付き3面図):66.6秒 / VRAMピーク 8,633MiB / 497,360面
形の実測(フィギュア3面図):66.5秒 / VRAMピーク 8,798MiB / 456,948面
色を付けた形:フィギュア3面図から octree 384 で作り直し、表面をならしたもの / 1,091,576面
VRAMの注記:待機中に他のプロセスが使っていた2,284MiBを含む値
回転動画:MiniMax H3(ローカルのComfyUI)。90コマ、約11分
テクスチャ:2048×2048 / 切れ端 25,018枚 / 4096は貼り付け途中で2回とも停止
Blender:5.0.0 / Eevee サンプル16 / 1280×720 / 24fps / 120フレーム / 16.8秒
【次の記事】
【おすすめ記事】