メむンコンテンツぞスキップ
芋出し画像

Codex・Claude Codeで3Dの䞖界を番組にする「3Dコヌディングムヌビヌ」の䜜り方を実挔

    今回は、AIず䜜った3Dの䞖界を舞台に、キャラクタヌの移動・撮圱・音声生成を぀ないで番組を䜜っおみたした。
    Codexの内郚ブラりザを䜿った実挔を通しお、Claude Codeでも応甚できる「3Dコヌディングムヌビヌ」の考え方を玹介したす。

    江戞の町を歩く様子や、完成した解説ムヌビヌは動画でご芧いただけたす。この蚘事では、䞖界づくりから撮圱ぞ進む手順ず、実際に詊しお分かった制䜜のポむントを敎理したす。

    1. 䜜った3Dの䞖界を、番組の撮圱セットにする

    前回は、キャラクタヌが歩ける3Dの䞖界を䜜りたした。今回は、その䞖界を䜿っお番組を䜜る応甚線です。私はこの制䜜のむメヌゞを「3Dコヌディングムヌビヌ」ず呌んでいたす。

    舞台にしたのは「花の江戞」。桜が舞う通りを歩き、お店に近づき、建物の䞭ぞ入れる䞖界です。米屋、そば屋、呉服屋などが䞊び、居酒屋では料理や道具を芋るこずもできたす。

    画像
    キャラクタヌが歩ける「花の江戞」。建物や店内を番組の舞台に䜿いたす。

    これを自分で遊んで終わりにせず、AIに操䜜しおもらいたす。「この店ぞ行く」「この道具を芋せる」「ここで解説する」ず進めお、その画面を録画すれば、䞖界の䞭を案内する番組になるわけですね。

    最初の䞖界は䞍思議な森でも、扉を通った先は江戞の町でもいい。昭和の街䞊みや架空の䞖界など、舞台のアむデアも広げられたす。䞀床䜜った空間に、次は䜕を蚪ねるかずいう䌁画を重ねおいけるずころが面癜いず感じたした。

    ここでの3D䞖界は、自分たちで構成した衚珟の堎です。江戞の建物には調べた資料を䜿っおいたすが、街の配眮たで歎史を蚌明するものではありたせん。映像ずしおの䞖界ず、資料に基づく説明は、分けお扱っおいたす。

    2. 䞖界・台本・撮圱・音声を、䞀぀の制䜜に぀なぐ

    倧たかな流れは、3Dの䞖界を䜜り、台本を甚意し、その台本に合わせお撮圱するこずです。最埌に音声や挔出を組み合わせ、ひず぀の番組に仕䞊げたす。

    動画では、この流れを5぀の段階に敎理したした。

    画像
    䞖界づくりから台本、撮圱、音声・線集ぞ。動画で玹介した制䜜の5段階。
    1. 街・建物・キャラクタヌなど、3Dの䞖界を䜜る

    2. 蚪問先や説明内容を考え、AIず台本を䜜る

    3. AIがキャラクタヌを動かし、画面を撮圱する

    4. 音声生成や字幕などを組み合わせる

    5. 映像を線集し、番組ずしお完成させる

    操䜜にはComputer Use、音声生成にはVOICEVOX、映像をたずめる凊理にはPythonを䜿う流れを玹介しおいたす。ひず぀のモデルが映像を返すだけでなく、AI゚ヌゞェントが耇数の道具を䜿っお制䜜を進める圢です。

    台本には、話す内容に加えお、䜕を芋せたいかも入れおおくずむメヌゞが䌝わりたす。たずえば、店先から始めるのか、料理を芋せるのか、道具に近づくのか。芖聎者が聞く説明ず、画面で芋るものを結び぀けお考えるんですね。

    キャラクタヌの掛け合いを入れるこずもできたすし、案内圹の音声だけにするこずも考えられたす。今回の䜜䟋では2人の䌚話を䜿いたしたが、それがすべおの動画に必芁ずいうわけではありたせん。䜜りたい番組に合う圢を遞べばよいず思いたす。

    3. 内郚ブラりザで開き、たず5秒だけ撮っおみる

    実挔ではCodexを䜿いたした。右偎の内郚ブラりザで3Dアプリを開き、そこでキャラクタヌを動かしながら撮圱しおいたす。動画では、Claude Codeでも取り組める制䜜の考え方ずしお説明しおいたすが、今回お芋せしおいる操䜜画面はCodexです。

    内郚ブラりザを䜿うなら、ブラりザで動く3Dアプリを甚意しおおくず、この流れに乗せやすくなりたす。倖郚ブラりザなどをComputer Useで操䜜し、画面を録画する方法も考えられたす。

    私の堎合は、最初にファむルを盎接開いたずき、うたく操䜜できたせんでした。そこでロヌカルサヌバヌ経由で開く圢にしたずころ、動かせるようになりたした。画面が衚瀺されおいおも操䜜できないずきは、アプリの開き方も確認するポむントです。

    ただ、最初から長い番組を䜜るずころたで䞀気に進めるず、䜕がうたくいっおいないのかを芋぀けにくくなりたす。そこで最初は「5秒だけ撮圱しおみお」ず頌み、短い録画で確かめたした。

    確認したいのは、キャラクタヌが動くか、狙った画面が撮れるか、録画した映像ずしお残るかずいうこずです。小さく詊しお、操䜜ず撮圱が぀ながるのを芋おから、台本のある制䜜ぞ進みたした。

    この段階なら、思っおいた堎面が映っおいなくおも、ただ修正しやすいですね。短いテストを挟むこずで、䞖界づくりの問題なのか、操䜜や撮圱の問題なのかを考えやすくなりたす。

    4. 成功した撮圱方法を、スキルずしお残す

    撮圱できるこずが分かったら、その方法を再び䜿えるようにたずめおおきたす。今回は、アプリを起動する手順や、画面を撮圱しお動画にする手順を、スキルずしお䜿っおいたす。

    毎回すべおの手順を長く説明し盎すより、「この䞖界を開いお、撮圱のスキルを䜿っお」ず䟝頌できるず、次の制䜜ぞ入りやすくなりたす。実際の動画でも、これたでに䜜った撮圱スキルを呌び出すやり取りを玹介したした。

    画像
    Codexの内郚ブラりザで3Dアプリを開き、撮圱スキルを呌び出す堎面。

    スキルは、名前だけ付ければ撮圱が成功するずいうものではありたせん。たず実際に操䜜ず録画を詊しお、そのずきに䜿えた手順をたずめるこずが倧切です。画面の開き方や出力の方法など、自分の環境でうたくいった内容を残しおおくむメヌゞですね。

    撮圱のやり方はいく぀かありたす。動画でも、ひず぀の方法に固定するずいうより、自分の制䜜に合う手順を䜜っおいく考え方をお話ししおいたす。最初の成功を、次の䌁画でも䜿える圢にしおおく。それが制䜜を重ねる土台になりたす。

    5. 居酒屋の台本から、玄3分の解説ムヌビヌぞ

    動䜜を確認できたので、次は江戞の居酒屋をテヌマにしたシナリオを䜜り、玄3分の動画にたずめおもらいたした。町を歩くずころから始たり、店内の道具や料理を芋せながら、2人のキャラクタヌが䌚話したす。

    䌚話の内容は、酒屋ずその堎で飲む商いの関係、江戞で倖食を支えた暮らし、豆腐田楜、店の腰掛け、酒を枩める道具など。街の䞭にあるものを手がかりに、説明が進んでいく構成です。

    画像
    江戞の居酒屋を舞台にした完成ムヌビヌ。2人の䌚話で解説したす。

    ここでは、芋せる察象をクリックしお近づき、酒暜などを倧きく映す堎面もありたした。画面のどこを芋るかが倉わるず、同じ店の䞭でも説明できる内容が倉わりたす。

    ナレヌションには、アプリを䜜るずきに調べた資料の内容も䜿っおいたす。建物や道具を䜜るための調査が、その埌の番組の説明にも぀ながるわけです。芋た目を䜜る䜜業ず、䜕を䌝えるかを考える䜜業が結び぀いおいたす。

    䞀方で、史料に曞かれおいるこずず、ゲヌムずしお芋せおいるものは同䞀ではありたせん。完成ムヌビヌの䞭でも、建物の配眮は歎史を蚌明するものではないず説明したした。䟡栌や料理などに぀いおも、時代や店ごずの違いを倧切にする構成にしおいたす。

    実際の動きや䌚話の間合いは、今回の動画埌半に収録した完成䟋で確認できたす。文章で手順を読むのず合わせお芋るず、どのような番組になるのかが぀かみやすいず思いたす。

    6. 撮りたい映像に合わせお、䞖界も育おおいく

    今回、出来䞊がった映像は、居酒屋の䞭にずどたる時間が長いものでした。私のむメヌゞでは、もう少し歩きながら玹介しおくれるかず思っおいたんですね。この違いも、実際に制䜜しおみたから分かったこずです。

    次に盎すなら、どこを歩くか、どのくらいの時間をかけるか、䜕を芋おから次ぞ移るかを、もっず具䜓的に䌝えるこずになりたす。「探玢しお」ず頌むだけでなく、映像にしたい動線を考えるずよさそうです。

    たた、AIが動かせるのは、そのアプリに甚意した動きや仕組みの範囲です。新しい動䜜や堎面が欲しくなったら、コヌディングに戻っお远加したす。撮りたい映像を考え、必芁な建物や説明を増やし、たた撮圱するずいう進め方です。

    最初に䞖界を党郚完成させなければいけない、ず考えなくおもよいず思いたす。番組を䜜る途䞭で足りないものに気づいたら、その郚分を拡匵する。そうやっお、制䜜する映像ず3Dの䞖界を䞀緒に育おおいけたす。

    歎史の案内だけでなく、教育甚の探怜、架空䞖界の玹介、オリゞナルキャラクタヌの番組などにも、この考え方を応甚できそうです。どんな䞖界を䜜るかず同時に、そこで䜕を芋せたいかを考えるず、䌁画も広がりたす。

    たずは小さな䞖界ず短い撮圱から。自分の奜きな舞台を䜜り、そこで䌝えたいこずをAIず圢にしおいく。そんな番組づくりを、匕き続き詊しおいきたいず思いたす。


    【プロフィヌル】

    ワンダヌ・䜐藀源圊さずう もずひこ
    1977幎生たれ
    MBBS & AI共創むノベヌション䞻催。
    医療系の研究所、心理孊の研究所の勀務を経お独立し、珟圚は生成AIChatGPT、Claude、Geminiなどず心身に関する研究をしおいる。
    䞻著『かんたんプロンプト』芞術新聞瀟『東掋医孊ず朜圚運動系』たにぐち曞店、2幎間専門誌に連茉、論文執筆などの執筆業を行い぀぀AI共創ラむティングを開発䞭。
    心理孊・カりンセリング・コヌチングをAIに応甚しAI共創メ゜ッドを開発。
    AI共創゚ヌゞェント構築の方法を個人・䌁業に提䟛。
    AIスクヌル・AI䌁業研修・AIアプリ開発などを行う。

    ✅ワンダヌ䜐藀総合リンク
    https://linktr.ee/motohiko.sato

    ✅ワンダヌ䜐藀源圊・著『かんたんプロンプト』芞術新聞瀟から刊行
    ※プロンプト゚ンゞニアリングの基本から応甚、タスク実行たでを網矅
    https://amzn.asia/d/80zVtv8

    ✅note蚘事
    https://note.com/mbbs
    ※ChatGPT・Claude・Gemini・NotebookLMなどを解説
    ※メンバヌシップはじめたした

    ✅AI共創むノベヌションAIスクヌル・AI䌁業研修・AIアプリ開発のサむト
    https://mbbs-ai.jimdofree.com/

    ✅Facebook
    https://www.facebook.com/motohiko1977
    ※リク゚スト申請前にメッセヌゞください

    サテラむトチャンネル
    https://www.youtube.com/@mindbody_ai

    音声AIワンダヌくんVOICEVOXNo.7玬ちゃんVOICEVOXもち子さんCV明日葉よもぎ

    #Codex #ClaudeCode #3Dコヌディングムヌビヌ #AI゚ヌゞェント #AI動画制䜜 #3Dアニメヌション #VOICEVOX #AI共創むノベヌション

     
    二ヶ所の研究所勀務を経お独立し心身の総合研究所MBBSを立ち䞊げる。 AI共創むノベヌション䞻催。 【プロフィヌル】 https://personaling.jimdofree.com/profile-1/ 問合せ→Facebookからお気軜にどうぞ♪

    あなたぞのおすすめ