メインコンテンツへスキップ
見出し画像

【Hunyuan3D】猫を3Dにして回す②

    こんにちは。

    前回は、AIに描いてもらった猫の絵を自分のPCで3Dにして、ぐるっと回しました。
    ただ、生成そのままの灰色の猫だったので、今回は色を付けてみたいと思います。

    色を付けたいのは、この猫です。

    画像
    元の絵。ポテチを抱えている。

    そして前回の結果がこれです。

    画像
    前回の灰色の猫。左から正面、左、後ろ、真下。

    そこで今回は、この猫に元の絵と同じ色を付けて、もう一度回してみたいと思います。

    横と後ろの絵を、AIに描いてもらう

    猫の絵は正面の1枚しかありません。
    そこで、横と後ろの絵も画像生成AIに描いてもらうことにしました。
    元の絵を渡して、「この猫の正面・横・後ろを、同じポーズで横に並べて」と頼みました。
    使ったのは、Codex(OpenAI)の画像生成です。

    画像
    AIが描いた3面図。左から正面、左、後ろ。

    横顔も、背中の縞も、しっぽの縞も描かれていました。
    袋の位置と足の開きも、正面の絵と揃っています。
    このように、同じものを正面・横・後ろから描いて並べた絵を「3面図」と呼びます。

    この3面図を3枚に切り分けて、正面・左・後ろの絵にしました。
    これで、足りなかった横と後ろの絵がそろいました。

    3面図から、形を作り直す

    前回使ったHunyuan3Dは、絵を1枚だけ受け取るモデルでした。
    同じHunyuan3Dに、正面・左・後ろ・右の4枚までをまとめて受け取るモデルがあります。
    Hunyuan3D-2mv(mvはmulti-view、多視点)です。

    Hunyuan3D-2mv:https://huggingface.co/tencent/Hunyuan3D-2mv
    コードは Hunyuan3D-2 のリポジトリ(GitHub)のものを使いました。前回の 2.1 とは別のモデルです。

    4枚すべてを渡す必要はなく、空いた枠は空のままで動きます。
    今回は正面・左・後ろの3枚を渡しました。
    まずは、さっきの色付きの3面図をそのまま入れてみました。
    設定は、Seed 20260920、Steps 30、octree 256です。

    画像
    色付きの3面図から作った形。左から正面、左、後ろ、真下。

    生成は66.6秒、VRAMのピークは8,633MiB、面の数は497,360でした。
    しっぽの位置も、背中の丸みも、3面図のとおりになりました。
    ただ、毛の縞も、目も、袋の中のポテチも、凹凸として彫られていました。

    前回、ぼかす前の絵を入れたときと同じです。
    形を作るAIには、絵の縞や目が「凹凸」に見えるようです。
    色は後から貼るので、形にも縞が彫られていると、縞が二重になってしまいます。

    それなら、形を作るときだけ、縞も目も無い絵を渡せばいいと考えました。
    これもAIに頼みました。「この猫を、模様も目も無い未塗装のフィギュアにして」。

    画像
    模様と目を消したフィギュア画像。

    このフィギュア画像からも、3面図を描いてもらいました。

    画像
    フィギュア画像の3面図。

    変えたのは、入れる絵だけです。Seed、Steps、octreeは同じにしました。

    画像
    フィギュアの3面図から作った形。つるん。

    生成は66.5秒、面の数は456,948でした。
    縞と目が消えて、耳としっぽと肉球は残りました。
    袋も袋の形のままで、中のポテチは彫られていません。

    形は模様を消した絵から、色は模様のある絵から作るように、役割を分けることにしました。

    灰色の猫を10方向から撮って、塗ってもらう

    つるんとした灰色の猫ができたので、ここに色を付けます。
    色を付ける猫は、同じフィギュアの3面図から、octreeを384に上げて作り直し、表面をならしたものにしました。
    3面図の3枚だけだと、斜め下や真上・真下から見える部分の色が足りないと考えました。
    そこで、10方向から貼ることにしました。

    10方向は、正面・左・後ろ・右の4つ、斜め下から4つ、真上と真下です。
    このうち正面・左・後ろ・右の4つは静止画で、残りの6つは動画から取りました。

    まず、灰色の猫をBlenderで撮りました。
    撮った灰色の画像と元の絵をAIに渡して、「この灰色の猫に、この絵の色を塗って」と頼みました。
    返ってきた絵を、撮ったのと同じカメラ位置から猫に貼り戻す、という流れです。

    画像
    AIに渡した灰色の画像。塗り絵の下絵のようなもの。

    頼むときに気をつけたのは3つです。
    1つ目は、灰色の画像の形を変えずに、輪郭をそのままなぞって塗ってもらうこと。
    2つ目は、影やハイライトを付けないこと。後で照明を当てるからです。
    3つ目は、写っていない部分を足さないこと。後ろから見た絵に顔を描かれると困ります。

    画像
    AIが塗った絵。左から正面、左、後ろ、右。

    4方向とも、灰色の形とほぼぴったり重なる絵が返ってきました。
    輪郭の重なりを0〜1で測ると(1.00が完全一致)、正面1.00、左1.00、後ろ0.99、右0.99でした。
    後ろの絵に顔が描かれていなかったのが、いちばんほっとしたところです。

    残りの6方向は、静止画ではなく動画にしました。
    灰色の猫の周りをカメラが一周する動画をBlenderで作り、それをお手本にして、動画生成AIに色付きで同じ動きの動画を作ってもらいました。
    使ったのはMiniMax H3という動画生成AIで、自分のPCのComfyUIで動かしました。

    画像
    動画から6コマ。下から見上げたお腹も描かれている。

    正面から始まり、下から見上げて、横、後ろ、真上へと回る90コマの動画です。
    お手本の灰色の動画は、何コマ目でカメラがどこにいるかを決めて作ってあります。
    色付きの動画も同じ動きなので、欲しい角度のコマを切り出せば、カメラの位置もわかります。
    1本の動画にしたのは、角度ごとに猫の描き方がばらつくのを抑えたかったからです。
    生成には約11分かかりました。

    10方向から貼る

    10方向の絵がそろったので、猫に貼り戻しました。
    それぞれの絵を、撮ったときと同じカメラ位置から映します。
    猫の面ごとに、その面をいちばん正面から見ている絵を使いました。

    貼った結果は、テクスチャ(表面の色をまとめた画像)1枚にまとまります。

    画像
    猫、バラバラになりました。

    猫の表面を25,018枚の切れ端に分けて、2048×2048ピクセルの1枚に敷き詰めてあります。
    右のほうに顔、左下に袋が見えます。

    これを猫に貼ると、こうなりました。

    画像
    色付きの猫を6方向から見たところ。

    後ろの縞、しっぽの縞、真下の肉球、耳の内側のピンクまで色が付きました。
    面の数は1,091,576です。

    テクスチャを4096×4096にもしてみましたが、貼り付けの途中で2回とも止まりました。
    私のPC(メモリ32GB)では足りなかったようです。この猫は2048で足りていました。

    ついでに色数を減らしてみた

    テクスチャの色数を32色に減らしてみました。
    アニメ塗りの絵なので、色を絞ればくっきりするのでは、と思ったからです。
    変えたのは色数だけです。

    画像
    上が減らす前、下が32色。

    32色にすると、ひげが消え、鼻と口が潰れ、お腹に斑点が出ました。
    細い線と小さな模様が、まとめて消えてしまいました。
    くっきりはしなかったので、減らす前のテクスチャに戻しました。

    Blenderで開く

    前回と同じく、ファイル → インポート → glTF 2.0 で読み込みました。
    読み込みは0.69秒でした。

    画像
    読み込んだ直後。灰色のまま。

    灰色のままですが、色が付いていないわけではなく、表示モードが「ソリッド」になっているからでした。
    画面右上の丸いアイコンの左から3番目、マテリアルプレビューに切り替えました。

    画像
    マテリアルプレビューに切り替えたところ。

    ここで初めて、自分のPCの中に色付きの猫が立体で存在していると実感しました。
    マウスの中ボタンでぐるぐる回せるので、しばらく回していました。

    回す

    ターンテーブルは、前回作ったものをそのまま使いました。
    前回の.blendを開いて、灰色の猫を消し、色付きの猫を読み込んで台の子にしています。

    レンダーエンジンだけ変えました。
    灰色のときはWorkbench(形だけを見る簡易表示)でしたが、色付きではEevee(照明込みで色を描く方式)にしました。
    レンダープロパティのレンダーエンジンから選べます。

    レンダリングは、120フレームで16.8秒でした。1フレームあたり0.14秒で、Eeveeのサンプル数は16です。

    画像
    ターンテーブル動画から8コマ。

    動いているものはこちらです。

    画像
    回った。トラ猫で。

    今日わかったこと3つ

    1. 横と後ろの絵はAIに描いてもらえた。3枚をまとめて受け取るHunyuan3D-2mvに渡すと、しっぽの位置も背中の丸みも絵どおりになった

    2. 形は模様を消した絵から、色は模様のある絵から作ると、縞が彫られなくなった。同じSeedで、入れる絵を変えただけで変わった

    3. 10方向の絵を、撮ったカメラ位置から貼り戻すと、1枚の絵から色付きの3Dができた

    次回は、イラスト調ではなくリアルな猫で試してみたいと思います。


    環境

    • PC:Windows 11 / RTX 5060 Ti 16GB / メモリ 32GB

    • 3面図・塗り:Codex(OpenAI)の画像生成

    • 形:Hunyuan3D-2mv(正面・左・後ろの3枚)

    • 形の設定:Seed 20260920 / Steps 30 / guidance 5.0 / octree 256(2回とも同じ)

    • 形の実測(色付き3面図):66.6秒 / VRAMピーク 8,633MiB / 497,360面

    • 形の実測(フィギュア3面図):66.5秒 / VRAMピーク 8,798MiB / 456,948面

    • 色を付けた形:フィギュア3面図から octree 384 で作り直し、表面をならしたもの / 1,091,576面

    • VRAMの注記:待機中に他のプロセスが使っていた2,284MiBを含む値

    • 回転動画:MiniMax H3(ローカルのComfyUI)。90コマ、約11分

    • テクスチャ:2048×2048 / 切れ端 25,018枚 / 4096は貼り付け途中で2回とも停止

    • Blender:5.0.0 / Eevee サンプル16 / 1280×720 / 24fps / 120フレーム / 16.8秒

    【次の記事】


    【おすすめ記事】


     
     

    Pudu

     
     
    ローカルの画像生成を学び直しています。

    あなたへのおすすめ