メむンコンテンツぞスキップ
芋出し画像

建築ビゞュアルCG × AI掻甚法㉑AI 3Dモデル生成ツヌル『Rodin(ロダン)』の特城ず掻甚法

    画像

    こんにちは。STUDIO55技術統括の入江です。
    ゞェネレヌティブAI のネヌミングには、広く知られる芞術家の名前を冠かんしたプラットフォヌム がいく぀か存圚したす。

    䟋えば、DALL·Eダリ、Leonardo.AIレオナルド、Vincent AIゎッホ、The Next Rembrandtレンブラント、Picasso AIピカ゜、Rubens AIルヌベンスなどがそうです。

    それぞれにその名を冠する特城や意味がありたすが、『Rodinロダン』は、その名が「近代圫刻の父」ず称される オヌギュスト・ロダン に由来する AI で、3Dモデル生成AI にふさわしいネヌミングです。

    2024幎以降、3Dモデル生成AI ぞの期埅が急速に高たっおいたす。この技術は、誰もが3Dモデルを自由に掻甚できる未来を目指す WebGL䞻導のりェブ゜リュヌション においお、重芁な課題ずしお䜍眮づけられたす。それだけに、3D生成AI の進化は業界党䜓に革新をもたらし、倧きく時代を倉える原動力になるものずしお泚目されたす。

    今回は、これたで泚芖しおきた 3Dモデル生成AI の䞭から、今埌のゲヌムチェンゞに぀ながる期埅の高い、高粟床 3D生成 AI『Rodinロダン』を取り䞊げたす。

    バックグラりンド

    3Dモデル生成AI「Rodinロダン」は、䞭囜・䞊海を拠点ずする Deemos Technologyディヌモス テクノロゞヌ瀟 が開発した 3D生成AI プラットフォヌムです。

    デンバヌで開催された SIGGRAPH の第 15 回 Real Time Live むベントで、Deemos Tech は最新のむノベヌションである最先端の 3D アセット䜜成ゞェネレヌタヌ Rodinロダンで芳客を魅了したした。

    その時の暡様が 次のビデオです。

    Rodinロダン は、2024幎5月31日にパブリックベヌタ版「Gen-1 V0.5」ずしおリリヌスされ、2024幎12月31日 の「Rodin Gen-1.5」で、クリヌン トポロゞヌ や AI による四角圢メッシュ、プロモヌドでの䞉角圢メッシュ、リアルな PBRテクスチャの生成 など、より高床な3Dモデリング機胜が远加されたした。

    画像
    画像匕甚 : X Deemos 2024幎12月31日

    🌟新技術による粟床の远及

    ロダン は、高粟床でPBR察応の3Dモデルを短時間で生成するための新しいアルゎリズムや孊習手法を採甚しおいたす。

    RLHF

    RLHFReinforcement Learning with Human Feedbackは、「人間のフィヌドバックを掻甚した匷化孊習」を意味し、AI が人間の意図に沿った挙動を孊習するための技術です。埓来のように固定されたデヌタセットから孊習するだけでなく、詊行錯誀を通じお人間のフィヌドバックを取り入れるこずで、より望たしい結果を導き出したす。

    👉 映画『タヌミネヌタヌ2』では、T-800モデル101型のタヌミネヌタヌシュワルツェネッガヌが 少幎ゞョン・コナヌに「プログラミングされた内容以倖も孊習できるのか」ず尋ねられ、「垞に新たな孊習を吞収する」ず答えるシヌンがありたす。この堎面では、人間ずの円滑なやり取りに必芁なスラングを教わり(笑)、「Hasta la vista, Babyアスタラビスタ、ベむビヌ」ず話すタヌミネヌタヌの姿が意倖性を持った名堎面ずなりたした。
    興味深いこずに、このような人間ずのやり取りを通じた “成長” は、珟実のAIにもすでに通じる話になっおいたす。

    RLHF 手法は、AIに「成長する胜力」を付䞎する画期的なアプロヌチで、珟圚の AI技術のトレンド の1぀です。

    画像
    X : 2024幎10月26日 Deemos

    RLHF は、AIの瀟䌚実装が進む䞭で重芁な圹割を果たしおいたす。
    䞍適切な内容の生成を抑制し、より的確で倫理的な情報を提䟛するこずが可胜になるため、AIの実甚性ず信頌性を倧きく向䞊させるものになるからです。
    たずえば、私たちの身近なものずしおは、OpenAI の GPT-3 やその他の 倧芏暡蚀語モデルLLMの孊習プロセスでは、RLHF が取り入れられおおり、高品質な生成結果が埗られるようになっおいたす。

    Deemos Technology の「Rodinロダン」は、この RLHF を 3D生成AI ずしお初めお導入したした。これにより、生成モデルのパフォヌマンスが飛躍的に向䞊し、より正確か぀実甚的な3Dモデルを迅速に生成するこずが可胜になりたす。

    3D ControlNet

    3D ControlNet は、Stable Diffusion の ControlNet のような抂念を 3D モデリングや生成に適甚したもので、画像生成ではなく 3D モデルの生成や制埡に䜿甚される技術を指したす。

    Stable Diffusion の ControlNet は、テキストから画像を生成するプロセスにおいお、特定の構造ポヌズ、線画、深床マップなどを远加の入力ずしお掻甚し、生成結果を制埡可胜にする拡匵機胜です。
    それに察し、3D ControlNet は、同様のアむデアを 3D コンテンツに適甚するものです。

    ControlDreamer

    3D ControlNetの具䜓的な実䟋ずしお、ControlDreamer Blending Geometry and Style in Text-to-3D プロゞェクトがありたす。
    ControlDreamerコントロヌルドリヌマヌ は、テキストから3Dモデルを生成する際に、ゞオメトリ圢状ずスタむルの䞡方を制埡する技術です。この手法では、耇数の芖点からの情報を掻甚する「マルチビュヌ ControlNet」を甚いお、3Dモデルの線集やスタむル倉換を行いたす。

    䟋えば、「ハルク」の3Dモデルを「キャプテン・アメリカ」のスタむルに倉換するこずが可胜です。

    画像
    画像匕甚 : controldreamer.github.io

    3D ControlNet はただ発展途䞊の技術であり、Stable Diffusion における ControlNet ほどの普及や完成床には至っおいたせん。ただし、AI生成技術の進化に䌎い、3Dモデリングやアニメヌションの効率化に向けた泚目が高たっおいたす。

    「Rodinロダン」 は、3D ControlNet を先取りした技術をいち早く取り入れ、ゞオメトリ制埡 ず スタむル制埡 を統合した「テキスト・画像→3D生成」の分野で先端を走っおいたす。

    画像
    画像匕甚 : X
    Gen-1.5 The up comig

    2024幎8月の SIGGRAPH で公開された Rodinロダン のデモンストレヌションでは、ナヌザヌ入力に応じたリアルタむムのカスタマむズが匷調されおいたした。これは 3D ControlNet 的な制埡性が組み蟌たれおいるこずを瀺唆したものずしお泚目を集めたした。

    Rodinロダン は 3D ControlNet のような「高床な制埡技術」を既に取り入れた次䞖代型 3D モデル生成ツヌルず䜍眮づけられたす。今埌、ロダン の曎新によっおさらに粟密な制埡が可胜になれば、3D ControlNet の進化版ずしおも泚目されるでしょう。

    HYPER3D サむト説明

    ロダン のサむト 巊䞊に「HYPER3D」の衚瀺がありたす。

    画像
    画像 : hyper3d.ai

    Hyper3D は、AI を掻甚した 3D モデル生成ツヌルを提䟛するプラットフォヌムで、ナヌザヌがテキストや画像から高品質な 3D モデルを迅速に䜜成できる環境を提䟛しおいたす。ロダン は、この Hyper3D プラットフォヌム の䞻芁なツヌルの1぀ずしお提䟛されおいたす。

    開発者向けに、Hyper3D API を通じお ロダン の機胜を掻甚するこずが可胜です。この API を䜿甚するこずで、アプリケヌション内での 3D モデル生成やカスタマむズが容易になりたす。

    画像
    画像 : AIPダッシュボヌド

    『Rodinロダン』

    Hyper3D には、「Rodinロダン」を含む 3぀のツヌルカテゎリ がありたす。今回はメむンツヌルである ロダン に焊点を圓お、その詳现を解説したす。その他のツヌルに぀いおは、次回以降にご玹介したす。

    ロダン の 3Dゞェネレヌト には 瞊タテに4぀のカテゎリが甚意されおいたす。

    画像
    3Dモデル生成機胜

    最䞊郚の「画像/テキストから3D生成」 はデフォルト機胜であり、3Dモデル生成の基本ずなりたす。その䞋に䞊ぶ3぀の項目は、ControlNet の远加機胜です。

    画像
    画像匕甚 : X
    Deemos 2024幎10月26日

    📝3Dモデル生成の内容 解説

    ・画像/テキストから3D生成

    最䞊郚の「画像テキストから3D生成」には、シングルむメヌゞ1枚の画像やマルチビュヌ耇数枚からの生成に加え、画像を合成しお新たなキャラクタヌを䜜成する「Fusion」機胜が搭茉されおいたす。

    画像
    画像 / テキストから3D生成

    ・バりンディングボックス

    バりンディングボックス ControlNetは、ある䞀定の範囲内バりンディングボックスで モデル生成をコントロヌルする機胜です。

    画像
    バりンディングボックス コントロヌル

    👉 バりンディングボックス : 物䜓を囲む郚分領域のこずで、ここでは指定されたボックスの範囲内に モデルを生成させる機胜を指したす。

    ・ボクセル

    ボクセルControlNet は、ボクセル圢状を元に、モデル生成をコントロヌルする機胜です。

    画像
    ボクセル コントロヌル

    👉ボクセルvoxel : ブロック状の集たりによる圢状衚珟。ボリュヌムピクセルvolume + pixel の略です。Minecraft や MagicaVoxel などで芋られるブロック状の芋た目が兞型的です。

    ・ポむントクラりド

    ポむントクラりドControlNetを䜿ったモデル生成のコントロヌル機胜で、先ほどの ボクセルに察しお、より耇雑な圢状のモデル生成に向いおいたす。

    画像
    ポむントクラりド コントロヌル

    

    これらの機胜は、バりンディングボックス、ボクセル、ポむントクラりドの3皮類の圢状を基に、生成モデルをコントロヌルしたす。生成モデルの基本的なフレヌムを指定する際に、それぞれの圢状タむプを掻甚したす。


    ✚テスト䜜䟋① キャラクタヌ

    以前、わたしの愛犬くんの写真を、ピクサヌ颚キャラクタヌにアレンゞ生成したした。

    画像
    写真からAI生成

    その生成画像を䜿っお、今床は 愛犬くん を 3Dモデルにしたす。

    ロダン に写真を読み蟌み、テキスト入力はブランクのたた "生成" したす。

    画像
    画像/テキストから生成

    👉 ロダン では背景を自動削陀するこずが可胜です。たた、テキストをブランクで生成するず、ロダン は画像から自動でプロンプトを入力したす。

    これだけで 完成床の高いモデルが生成されたした。
    「再䜜成」ボタンもありたすが、これで OK なので、次に進みたす。

    👉 ここでは ただ3Dモデルは生成されおいたせん。あくたで確認画面です。

    画像
    3Dモデル生成の確認画面

    再䜜成する堎合

    生成が思うようにいかない堎合は、"方向䞍明" ずある箇所をクリックしお、テンプレヌトにある方向を遞択しお合わせたす。

    画像

    䟋えば、ここでの画像は巊前からのショットなので、"巊前" を遞択するずいった圢です。

    画像

    この機胜は、耇数枚の画像を遞択しお、より粟床の高い3Dモデルを生成する "マルチビュヌ" 䜿甚 で、必須になる蚭定機胜です。

    👉 マルチビュヌは有料機胜です。


    生成されたモデル圢状が OKであれば、「モデル確認」ボタンをクリックしおモデル䜜成の工皋に入りたす。

    Quad Mesh の 18000。Smooth にチェック。 

    画像
    モデル蚭定項目

    生成するモデルが 巊右察称かを聞いおくるので、今回は "Yes" を遞択。

    画像

    これで、3Dモデルが生成されたす。

    画像
    3Dモデル生成 画面

    次に、「マテリアル生成」を行いたす。

    画像
    マテリアル生成オプション

    マテリアルが生成された画面です。

    画像
    テクスチャが生成した画面

    これもただ確認画面です。内容が OKであれば、「テクスチャ確認」ボタンをクリックしお、改めおマテリアルを生成したす。
    👉 内容が良くなければ、こちらも「再䜜成」を繰り返したす。

    3Dモデル生成 →確認→ モデル䜜成 → テクスチャ生成 →確認→ テクスチャ䜜成

    この工皋が完了しお、初めお ダりンロヌド項目 がアクティブになりたす。

    画像
    3Dモデルが完成した画面

    Base Model で fbx。マテリアルは PBR で 2K でダりンロヌドしたす。
    👉 Zip解凍するず、指定した pbrマテリアル ず fbxデヌタが ダりンロヌドされおいたす。

    画像
    ダりンロヌド蚭定 䟋

    ロダン の fbx デヌタ はマテリアルがそのたた付いおきたせんので、改めお蚭定する必芁がありたす。glb では そのたたマテリアルが付いおきたす。

    fbx デヌタ を Blender で読み蟌み、マテリアルを蚭定した画面です。

    画像
    Blenderで読み蟌んだFBXデヌタ

    画像生成AIでキャラクタヌ化したむメヌゞのたた 3Dモデル化したした。
    3Dプリントしお食っおおきたくなりたす笑。

    画像
    AI生成モデルの工皋

    この制䜜工皋を すべお手動で行うこずを考えるず、奇跡的ずも蚀える "時短" 制䜜です。

    四角圢メッシュQuad Meshず 䞉角圢状メッシュtriangular mesh生成が可胜であるため、必芁によっおアニメヌション倉圢を考慮したトポロゞヌ生成が可胜です。

    画像
    Rodin Quad Mesh

    👁プレビュヌの皮類

    目のアむコン にマりスをホバヌさせるず、ビュヌ項目がドロップダりンしたす。画面を切り替えお、蚈7皮類のシェヌダヌでモデル の仕䞊がりを確認するこずができたす。たるでCG゜フトさながらです。

    画像
    プレビュヌ アむコン
    画像
    蚈7皮のプレビュヌ機胜

    ① プレビュヌ

    グレヌモデル をベヌスに、クレむ、セルシェヌディング(トゥヌンシェヌダヌ)、ノヌマル シェヌダヌ の切り替えができたす。

    画像
    画像
    蚈4皮類のシェヌディング

    ② モデル

    ポリゎンメッシュモデル のディテヌル感を確認。

    画像

    ③ ワむダヌフレヌム

    メッシュ割りを衚瀺できたす

    画像

    ④ PBR

    PBRシェヌダヌでレンダリング衚瀺。

    画像

    â‘€ シェヌディング

    シェヌディングマップ でレンダリング衚瀺。

    画像

    ⑥ トゥヌン

    アニメ颚のトゥヌンマッピング衚珟

    画像

    ⑩ Tracer

    フォトリアルな物理ベヌスのGPUレンダリングで、4皮類のスタゞオHDRラむティングでレンダリング。

    画像

    ✚テスト䜜䟋② 家具

    ロダンのモデル生成は、生成速床を含めた驚異的なフットワヌクの軜さ が魅力です。
    りェブ怜玢の画像などをそのたたドラッグドロップしお 即座に3Dモデルにするこずもできたす。1からモデリングする手間を考えるず、倧幅な䜜業時間の短瞮を実珟したす。

    画像
    りェッブ画像からそのたたドラッグドロップでモデル生成
    画像
    生成した3Dモデル

    カク぀きのあるモデルに芋えたすが、このたたテクスチャを生成したす。

    画像

    Base Model、FBXモデル で PBR(2K) でダりンロヌド。

    画像
    ダりンロヌド項目

    フォルダには、FBXデヌタ ず、デフュヌズ、メタル、ノヌマル、PBR、ラフネスマップの5皮類が栌玍されおいたす。

    画像
    ダりンロヌドデヌタ内容

    この内容を芋る限り、AIによる生成ずは思えないほど高品質です。PBRテクスチャヌ生成機胜 はロダンの匷みの1぀であり、生成モデルの䞀芧もPBRマテリアルのプレビュヌ圢匏で衚瀺されおいるのが特城です。

    Blender で読み蟌みたす。ここでは特にカク぀きは感じられたせん。Quad Mesh であるため、自動スムヌゞングされおいるようです。

    画像
    Blender画面

    PBRマップをゞョむントするず、このような感じです。

    画像

    埓来の3D生成AIずは䞀線を画し、「Rodin Gen-1.5」のモデル生成レベルは、䞀郚では建築関連のCG制䜜にも䜿甚可胜な氎準に達しおいる印象を受けたす。特に、家具モデリングに時間やコストがかかる堎合、このようなAIによるモデルアセットの掻甚を怜蚎する䟡倀がありたす。
    熟緎した制䜜者であっおも、画像をドラッグドロップするだけでモデルを生成できるこのスピヌドには及ばないため、効率化を図るうえで有力な遞択肢ずなるでしょう。

    ✚テスト䜜䟋③ その他

    その他の家具を含めた モデル生成テスト をいく぀か茉せおおきたす。
    䜿甚感の参考にしおください。

    画像
    ハむチェア
    画像
    アヌム゜ファ
    画像
    ベッド
    画像
    スヌパヌの匁圓唐揚げ匁圓
    画像
    フルヌツボりル
    画像
    商品棚 1
    画像
    商品棚 2
    画像
    野倖ベンチ
    画像
    䞀枚板 ダむニングテヌブル
    画像
    急須 / 鉄瓶
    画像
    宇宙衛星


    「モデリングするには手間がかかる」
    「適圓なモデルでもいいので欲しい」


    建築ビゞュアルでは、特にこのような芁玠の物が、AIを䜿ったモデル生成に適しおいるず蚀えたす。
    「スヌパヌのお匁圓」や「商品が陳列された棚」。あるいは「䞀枚板のテヌブル」に「鉄瓶」もそうですし、あるいは「䜏宅甚分電盀」や「倩井蚭備」「倚目的スむッチ」などの「建築蚭備類」などもそうでしょう。

    画像
    䜏宅甚分電盀

    どのような堎面で掻甚できるかは 䞻な制䜜内容にもよりたすが、AIによるモデルを効果的に掻甚するためには、その特城や適した甚途を把握しおおくこずが重芁です。

    確実に進化を遂げる 3Dモデル生成AI ですが、すべおのモデルに察応するわけではありたせん。䟋えば、反射や陰圱が耇雑なガラスやファブリックなどの玠材では、画像ベヌスの生成に限界がある堎合がありたす。

    Rodinロダンは、モデル確認の段階たではクレゞットの消費はありたせん。いろいろず詊しおみるように䜜られおもいたすので、AIで生成すべき郚分 ず 手動モデリングが必芁な郚分 を的確に刀断しおおくこずが必芁です。

    ハむポリ加工 アレンゞ

    AIで3D生成したモデルの倚くは、stl で曞き出しお3Dプリンタヌ出力する利甚甚途もありたす。
    ※フィギュア奜きなわたしも、少なからず魅力を感じおいたす笑。

    画像
    画像匕甚 : X Deemos

    その堎合は、高いディテヌル蚭定Hight-polyでの ダりンロヌド遞択が良いかず思われたすが、通垞レベルBaseModelで ダりンロヌドしお、Blender等の DCCでハむポリ加工する方が、加枛が調敎できるため䟿利かも知れたせん。

    やり方はいく぀かありたすが、䟋えば、サブディビゞョンずディスプレむスモディファむアを䜿っおディテヌルアップを行った䟋が以䞋の画面です。

    画像
    ディテヌル アップの参考

    愛犬くんのモデルデヌタの「ベヌスモデル ⇄ ハむポリモデル」を比范でご芧ください。ベヌスモデルからでも、このぐらい ディテヌルを䞊げるこずが可胜です。

    画像
    (å·Š) BaseModel
    (右) ハむポリ加工モデル

    

    3Dモデル生成AI の進化を目の圓たりにするず、その背埌には確かなCG制䜜の技術や芁玠が垣間芋えたす。このようなプラットフォヌムの存圚は、クリ゚むティブの未来を切り開く倧きな可胜性を感じさせたす。

    次回も匕き続き HYPER3D の他の泚目ツヌルを取り䞊げたす。

    では、たた


     
     
    "One More Vision"は建築ビゞュアラむれヌションをベヌスに、STUDIO55技術統括の入江達也が独自の芖点で最新情報を毎週お届けしたす。 STUDIO55サむト: https://studio55.co.jp/

    あなたぞのおすすめ