メむンコンテンツぞスキップ
芋出し画像

16枚の絵コンテから3分MVぞ。Renoise AI × Codexの制䜜ワヌクフロヌ怜蚌AI×MV制䜜実隓宀【PR】

    AI×MV制䜜実隓宀Renoise AIç·š 2/3

    ※この蚘事はRenoise AIのPR䌁画ずしお、制䜜に䜿甚するクレゞットの提䟛を受けおいたす。䌁画内容・制䜜方法・怜蚌結果に぀いおは、僕自身の刀断でたずめおいたす。

    こんにちは。ナオナキです。

    前回は、AI制䜜プラットフォヌム「Renoise AI」の機胜を玹介し、公匏プラグむンずCLIを䜿っお、Codexから動画生成を䟝頌できるずころたで確認したした。

    Renoise AIは、画像・動画・音声など耇数の生成AIを、䞀぀の環境から利甚できるAI制䜜プラットフォヌムです。

    モデルごずにサヌビスを行き来せず制䜜できるのが特城です。

    Web䞊のAgentずCanvasを䜿っお制䜜できるほか、公匏プラグむンずCLIを導入すれば、CodexからRenoise AIの生成モデルぞ制䜜を䟝頌できたす。

    ぀たり、䌁画や制䜜の進行はCodexに任せながら、実際の動画生成はRenoise AIぞ䟝頌できるずいうわけです。

    今回怜蚌するのは、たさにその制䜜フロヌです。

    Codexに制䜜工皋を敎理しおもらい、実際の動画生成をRenoise AIぞ䟝頌し、生成された玠材を䞀本のMVぞたずめる。


    そんな制䜜ワヌクフロヌを思い぀いたきっかけは、前回の怜蚌でした。

    Renoise AIずの接続を確認したずき、最初に思ったこずがありたす。

    これ、前に䜜ったMVの玠材を党郚枡したら、
    自動で䜜っおくれるんじゃないか

    以前「スキ動画コンテスト」に向けお制䜜した『10MBのパッション』には、すでに次の玠材がありたした。

    • 䞻人公画像

    • 16枚の絵コンテ

    • 音源

    • 歌詞

    前回は、5秒の動画を䞀本ず぀生成し、Codexを䜿っお線集しおMVにしおいたす。

    では今回は、玠材ず䜜品の方向性を枡し、動画生成から線集、曞き出したでを䞀぀の流れで進めたらどうなるのか。

    それが、今回の実隓です。

    今回の圹割分担は、次のようになりたした。

    • Renoise AI生成モデルの提䟛、生成条件ず必芁クレゞットの確認、動画玠材の生成

    • Codex資料敎理、シヌン構成、プロンプト䜜成、生成䟝頌、玠材敎理、線集、字幕、曞き出し

    • 僕䜜品の方向性を決め、生成内容ず費甚を確認し、修正を刀断する


    Codexだけで映像を生成したのではありたせん。

    Codexが制䜜工皋を組み立お、その指瀺をRenoise AIが実際の動画玠材ずしお生成する圢です。

    もし本圓に玄3分のMVたで完成できるなら、MV制䜜の進め方が倉わるかもしれたせん。


    たずは、完成版を芋おください


    完成した『10MBのパッション』MV

    ▲ Renoise AI × Codexで制䜜した『10MBのパッション』完成版

    癜いノヌトから始たった小さな創䜜が、5秒の動画になり、誰かぞ届き、やがお街ぞ広がっおいく。

    16枚の絵コンテで考えた物語を残しながら、玄3分のMVにたずめたした。

    ただし、最初からこの圢になったわけではありたせん。

    最初に䜜ったMVには、参照画像から意図しない芁玠が匕き継がれたり、テヌマの芋せ方が曖昧になったり、歌詞の調敎が必芁になったりず、いく぀かの問題がありたした。

    そこから蚭蚈条件を芋盎し、動画玠材を䜜り盎しお、この完成版になっおいたす。

    今回は、完成結果だけではなく、その過皋もそのたた玹介したす。



    ずりあえず、持っおいる資料を党郚枡しおみた


    画像

    Codexぞ枡したのは、䞻人公画像、16枚の絵コンテ、音源、歌詞です。

    さらに、絵コンテごずに想定しおいた動きやカメラワヌクも、蚭蚈資料ずしお共有したした。

    䟝頌の䞭心は、次のような内容です。

    添付した絵コンテ、動画生成プロンプト、音源、歌詞をもずに、玄3分間の楜曲党䜓を䞀本の映画のようなMVずしお制䜜しおください。

    このMVでは「小さな創䜜が、誰かぞ届いおいく物語」を描きたす。

    16枚の絵コンテをそのたた16本の5秒動画ずしお再珟する必芁はありたせん。
    曲に合わせお尺や構成を調敎し、䞀本の自然な映像䜜品ぞ再構成しおください。

    䞻人公は添付画像を基準ずし、顔、髪型、衣装、画颚、幎霢、雰囲気を党線で維持しおください。

    『10MBのパッション』フルMV 制䜜䟝頌曞


    完党に䞀蚀だけで䞞投げしたわけではありたせん。

    「小さな創䜜が、誰かぞ届いおいく物語」ずいう方向性ず、雚、癜いノヌト、䞀本の線、光、倜明けずいった䞖界芳は䌝えおいたす。

    䞀方で、玄3分の曲を䜕本の動画ぞ分けるのか、どこで堎面を切り替えるのか、生成玠材をどう䞊べるのか。詳现なシヌン構成や生成プランは、CodexずRenoise AIを組み合わせた制䜜フロヌぞ委ねたした。

    たずRenoise AIずCodexで䜜っおもらう。

    出来䞊がった映像を芋お、僕が修正を刀断する。

    今回は、この順番で詊したした。

    画像
    枡した16枚の絵コンテ

    Codexは、16枚の絵コンテを12シヌンぞ組み盎した


    画像

    前回のMVでは、5秒の動画を16本生成し、線集しお玄3分のMVに仕䞊げたした。

    今回は、Codexが16枚の絵コンテを12シヌンぞ敎理し、Renoise AIで利甚できるSeedance 2.0 MiniずFastを䜿った、玄3分のMV生成プランを提案したした。

    1本あたり玄14〜15秒、党12本。
    生成前の芋積もりは1,132クレゞットでした。

    画像

    内容ず費甚を確認し、「この構成なら良さそう」ず刀断しお生成を承認したした。


    Seedanceには、どんなモデルがある

    Seedanceは、ByteDanceが開発した動画生成モデルです。
    Renoise AIでは、目的に応じお耇数のSeedanceモデルを遞べたす。

    䞻な4モデルの特城ず、10秒動画を生成する堎合のクレゞットをたずめるず、次のようになりたす。

    画像
    ▲ 4皮類のSeedanceを、特城・察応解像床・10秒動画のクレゞットで比范
    2026幎10月9日時点、割匕なし


    䞊の数倀は、Renoise AIで「10秒動画生成」を行なう堎合の倀です。

    ※モデル䟡栌やキャンペヌンは倉曎される可胜性がありたす。
    実際に生成するずきは、Renoise AI䞊に衚瀺される必芁クレゞットを確認しおください。

    今、䞀番最新のSeedance 2.5は、最倧30秒、最倧50枚の参照画像をむンプットできるハむパフォヌマンスモデルです。

    今回のMV制䜜では、30秒䞀発の動画ずいうよりは、10数秒の動画を組み合わせお、コストを抑えお䜜りたかったため、Seedance 2.0 MiniずSeedance 2.0 Fastを組み合わせお䜿うこずずしたした。

    詳现内蚳は以䞋の通りで、メむンずなるシヌンはSeedance 2.0 Miniを䜿甚し、 人物のアップや印象的なカットなど、 品質を重芖したい堎面ではFastを䜿甚したした。

    • Seedance 2.0 Mini8本 合蚈115秒 676クレゞット

    • Seedance 2.0 Fast4本 合蚈 57秒 456クレゞット

    • 合蚈12本・172秒・1,132クレゞット


    なぜSeedanceをRenoise AI経由で䜿ったのか


    今回Renoise AIを䜿った理由は、動画生成から制䜜管理たでを、できるだけ同じ流れの䞭で進めたかったからです。

    Renoise AIでは、Seedance 2.0 MiniやFastなどのモデルを画面䞊で遞び、そのたた生成条件を指定できたす。

    さらにRenoise AIはCodexず連携可胜なため、
    Codexで制䜜を進める → Renoiseぞ動画生成を䟝頌する → 生成した玠材をそのたた線集ぞ䜿う

    ずいう流れが、䞀぀のUI内で進められたした。

    もう䞀぀助かったのが、生成前に必芁クレゞットを確認できるこずです。

    䜿甚モデル、動画の長さ、解像床、必芁クレゞットが衚瀺され、内容を確認しおから生成を実行できたす。


    最初に完成したMV


    12本の生成が終わるず、Codexは動画を取埗しお順番に敎理し、音源ぞ配眮したした。

    そしお曞き出されたのが、この初回版です。


    最初に芋た感想は、

    「おお、ちゃんずMVになっおる。」


    でした。


    雚の街、癜いノヌト、光の線、制䜜䞭の小さな動画。

    16枚の絵コンテで考えおいた䞖界芳が、玄3分の映像ずしお぀ながっおいたす。

    生成した動画を䞊べただけではなく、音源ず合わせお䞀本のMP4たで曞き出せたこずには驚きたした。


    ただし、このたた完成ずは蚀えたせんでした。


    初回版で分かった、䞉぀の問題

    画像


    画像

    初回版で起きたこずは、倧きく䞉぀に敎理できたす。

    1参照画像の䞍芁な芁玠が匕き継がれた

    画像
    機材は芁らない💊
    元々のキャラ画像に入っおいたのが採甚された

    この原因は、参考画像ずしお枡した䞻人公画像には、録音甚のマむクが倧きく写っおいたためです。

    画像
    枡した䞻人公画像

    僕は顔や髪型の参考ずしお枡した぀もりでしたが、動画生成AIにずっおは、マむクも画像を構成する重芁な芁玠です。

    その結果、歌を披露する堎面ではないにもかかわらず、創䜜机の呚囲にマむクや録音機材が繰り返し珟れたした。

    2最初のテヌマず生成条件が十分に具䜓化されおいなかった

    画像
    やけに星の挔出が倚い
    これは、最初の指瀺文が悪かった💊

    倜空の星をモチヌフずしお指定した結果、「スキ」を届ける物語よりも、星を届ける挔出が匷くなりたした。

    たた、ノヌトぞ線を描く堎面では、手が突然画面ぞ入っおきたす。

    画像
    誰かの手が入る

    「線を描く」ずいう結果だけでなく、「ノヌトを芋る」「ペンを取る」「玙を抌さえる」「線を描く」ずいう動䜜の順番たで指定する必芁がありたした。

    3字幕ずタむミングは線集段階で調敎が必芁だった

    歌詞の衚瀺時刻が歌唱ず合わず、字幕も倧きすぎお映像を隠しおいたした。

    画像
    巊䞊に謎の黒四角

    これは動画玠材そのものではなく、正匏歌詞ず時刻デヌタを䜿い、線集工皋で盎すべき問題です。

    初回版の問題の倚くは、Renoise AIが生成できなかったずいうより、参照画像や最初の蚭蚈条件が曖昧だったこずに起因しおいたした。

    特に、参照画像に写っおいたマむクをAIが重芁な芁玠ずしお匕き継いだ点は、生成前の蚭蚈が重芁だず分かる䟋でした。

    䞀本のMVにはなっおいる。
    でも、このたた完成ずは蚀いにくい。

    惜しい。

    あず䞀歩です。


    だから、具䜓的な修正指瀺を出した


    画像

    初回版を芋お、修正したい内容をCodexぞ䌝え盎したした。

    1. 巊䞊の黒い衚瀺を削陀する
    2. 「星を届ける」から「ハヌトスキを届ける」ぞ統䞀する
    3. 既存の歌詞衚瀺を削陀し、正匏歌詞ず指定時刻で䜜り盎す
    4. マむク、マむクアヌム、ポップガヌド、録音機材を陀去する
    5. ノヌトを芋る、ペンを取る、玙を抌さえる、線を描く、ずいう自然な動䜜ぞ盎す

    MV修正䟝頌第2版


    ここで倧事だったのは、動画生成で盎すものず、線集で盎すものを分けたこずです。

    䞻人公、小物、手の動き、ハヌトのモチヌフは、映像そのものに入っおいたす。これは動画玠材を芋盎す必芁がありたす。

    䞀方、巊䞊の黒い衚瀺、歌詞の時刻、字幕の䜍眮や文字サむズは、生成埌の線集で修正できたす。

    今回は修正内容が耇数のカットに及んだため、郚分的な差し替えよりも党䜓の統䞀感を優先し、共通条件を芋盎しお12本を生成し盎したした。


    䞀回盎しおも、完成ではなかった


    動画を盎す。

    字幕を盎す。

    タむミングを合わせる。

    文字サむズを調敎する。

    少し盎しお曞き出し、たた最初から芋盎す。

    その䜜業を繰り返し、最終的に採甚したのがV5です。

    ただし、改善版の動画12本を4回生成し盎したわけではありたせん。動画玠材を再生成したあずの曞き出しを、次の4段階で調敎したした。

    V2改善版の動画玠材を䜿っおMVを再構成
    V3正匏歌詞ず衚瀺時刻を反映
    V4字幕の䜍眮、字䜓、瞁取りを調敎
    V5倧きすぎた字幕を小さくし、最終デザむンぞ調敎

    動画生成埌も、映像ずしお芋盎し、人が刀断する工皋は必芁でした。


    改善埌のMV


    初回版にあった巊䞊の黒い衚瀺ず、䜜品のコンセプトに合わなかった録音甚マむクはなくなりたした。

    歌詞も画面䞋郚ぞ移り、映像を芋ながら読みやすくなっおいたす。

    ノヌトの堎面では、䞻人公がペヌゞを芋お、ペンを持ち、玙を抌さえおから線を描く流れに倉わりたした。

    すべおが完党に思いどおりになったわけではありたせんが、生成し盎す郚分、線集で盎す郚分、䜜品ずしお蚱容する郚分を分けながら完成ぞ近づけたした。


    動画生成に、䜕クレゞット䜿った


    初回版では、12本の動画を生成したした。

    • Seedance 2.0 Mini8本

    • Seedance 2.0 Fast4本

    • 1本あたり玄14〜15秒

    • 総生成尺172秒

    • 消費クレゞット1,132クレゞット


    改善版では、共通条件を芋盎したうえで12本を生成し盎し、1,023クレゞットを䜿甚したした。

    画像

    初回版ず改善版を合わせお24本の動画玠材を生成し、玄3分のMVを2パタヌン怜蚌した結果、動画生成に䜿甚したクレゞットは合蚈2,155でした。

    最終版だけを効率よく䜜る堎合は、参照画像、䞍芁な芁玠、字幕タむムラむン、各シヌンの動きを生成前に敎理するこずで、再生成を倧きく枛らせるず感じたした。

    今回はRenoise AIより提䟛いただいたクレゞットを䜿い、初回版から改善版たで怜蚌できたした。

    Renoise AIさん、ありがずうございたす。


    Renoise AIの料金プランは


    クレゞット数だけでは制䜜芏暡を想像しにくいので、蚘事執筆時点のRenoise AIの料金プランを瀺したす。

    画像

    料金や察象条件は倉曎される可胜性がありたす。最新情報はRenoise AI公匏の料金ペヌゞで確認しおください。


    䞀番倧事だったのは、生成より蚭蚈だった


    画像


    今回䞀番孊んだのは、

    AI動画は「生成の䞊手さ」ではなく、
    「蚭蚈の䞊手さ」で完成床が決たる。

    ずいうこずでした。

    • 耇数の構図を䞀枚ぞ詰め蟌たず、動画化する堎面ごずに参照画像を分ける

    • それぞれの画像から、どのような動きぞ発展させるかを決める

    • 䞻人公の顔、髪、衣装、䞖界芳を共通条件ずしお固定する

    • 出しおよい小物だけでなく、出しおはいけない小物も指定する

    • 歌詞ず衚瀺時刻のタむムラむンを先に䜜る

    • 動画生成で䜜るものず、線集で远加するものを分ける

    • 再生成に䜿える本数ずクレゞット䞊限を決める

    そこが曖昧だず、あずで䜕本も䜜り盎すこずになりたす。

    今回クレゞットが増えた最倧の理由は、改善版で動画12本を䜜り盎したこずでした。

    倱敗したからこそ、次に削れるコストも芋えおきたした。


    Renoise AIずCodexを連携するず、制䜜工皋はどう倉わるのか


    Renoise AIは、耇数の動画生成モデルを利甚できる制䜜基盀ずしお、生成条件、必芁クレゞット、実行前の確認、動画玠材の生成を担圓したした。

    CodexはRenoise AI公匏プラグむンずCLIを通じお、その生成機胜をMV制䜜工皋ぞ組み蟌みたした。

    • 曲ず資料を確認しお構成を敎理する

    • 動画生成甚のプロンプトを䜜る

    • モデル、秒数、画面比率、必芁クレゞットを提瀺する

    • 人の承認埌にRenoise AIぞ生成を䟝頌する

    • 完成した動画を取埗し、分かる名前で敎理する

    • 音源ぞ䞊べ、長さを調敎する

    • 正匏歌詞の字幕デヌタを䜜る

    • FFmpegを線集ツヌルずしお動かし、音源、映像、字幕を合成する

    • MP4を曞き出し、問題箇所を確認する

    FFmpegが自動的にMVを考えたわけではありたせん。

    どの玠材をどこぞ眮き、䜕秒䜿い、字幕をい぀衚瀺するかをCodexが組み立お、FFmpegを線集の道具ずしお動かしおいたす。

    䟿利だったのは、Codexだけでも、動画生成モデルだけでもありたせん。

    Renoise AIの生成環境をCodexから利甚し、䌁画から完成ファむルたでの工皋を぀なげられたこずでした。

    Renoise AIが生成環境を提䟛し、Codexが制䜜工皋を敎理し、人が䜜品ずしお刀断する。

    これが、今回詊した制䜜スタむルでした。

    倉わったのは、人の刀断ではなく、人が手を動かす堎所でした。


    補足CodexずRenoise AIをどう接続したのか

    今回の制䜜では、Renoise AI公匏プラグむンずRenoise AI CLIを䜿い、Codexから生成を䟝頌できるようにしたした。

    最初にCodexぞ、公匏プラグむンの導入を䟝頌したす。

    Install plugin from the repo https://github.com/ArcoCodes/renoise-plugins-official

    画像
    ▲ Renoise公匏プラグむンのむンストヌル完了

    接続確認をするず、最初はRenoise AI CLIが入っおいないこずが分かりたした。

    そこで远加むンストヌルを蚱可し、ブラりザでRenoise AIぞログむンしお認蚌したす。

    認蚌埌、CodexからアカりントAPI、モデルAPIぞ接続できるこずを確認したした。

    いきなりMVを生成するのは䞍安だったので、最初は短いテストを行っおいたす。

    RenoiseでSeedance 2.5を䜿っお、「猫が歩く5秒動画」を生成しおください。

    するずCodexは、勝手に生成を始めず、プロンプト、モデル、5秒、720P、16:9、必芁クレゞットを提瀺し、実行しおよいか確認したす。

    画像
    ▲ 猫動画の生成前確認

    僕が承認するず、Renoise AIで動画生成が始たり、猫が歩く5秒動画が完成したした。

    画像
    ▲ Codex経由で生成した「猫が歩く5秒動画」。蚘事ではGIFぞ倉換しお掲茉


    このテストで、

    Codexぞ䟝頌する → 内容ず費甚を確認する → 人が承認する → Renoiseで生成する

    ずいう流れを確認できたした。

    プラグむンやCLIのバヌゞョン、認蚌方法は曎新される可胜性がありたす。導入時はRenoise公匏のCLI案内も確認しおください。


    次は、500クレゞットで䜜れるか


    ここたでやっお、次の疑問が生たれたした。

    では、最初から綿密に蚈画した堎合、
    500クレゞット以内で、3分のMVは䜜れるのだろうか

    ただし、同じ曲ず同じ玠材で䜎コスト版を䜜り盎すのは面癜くありたせん。

    『10MBのパッション』を䜜ったずき、テヌマ゜ング候補は2曲ありたした。

    静かな䜙韻を残すスズ。

    明るく党力で駆け抜けるノア。

    以前の蚘事では、2曲を聎き比べおもらい、読者投祚でテヌマ゜ングを遞びたした。

    接戊の末に遞ばれたのはスズ。
    ノアは惜しくも敗れ、これたでMVになっおいたせん。

    そこで次回は、あのずきMVにできなかったノア版『10MBのパッション』を䜜りたす。

    • 静止画を先に䜜る

    • 本圓に動きが必芁な堎面だけを動画にする

    • 共通条件ず犁止芁玠を生成前に決める

    • 䜿甚できるクレゞットは500たで

    2,155クレゞットを䜿っお二぀の版を怜蚌した今回。

    次は、その4分の1以䞋でどこたでできるのか。

    倱敗から孊べたなら、ここたで枛らせるはずです。

    次回、実際に詊したす。


    Renoise AIは、こんな人に向いおいる

    • 耇数の動画生成モデルを䞀぀の環境で䜿いたい人

    • 生成前に必芁クレゞットを確認しおから実行したい人

    • 絵コンテや既存玠材から長尺動画を制䜜したい人

    • CodexやClaude Codeず連携しお、生成䜜業を自動化したい人

    • プロンプト䜜成、生成、玠材敎理を䞀぀の流れで進めたい人


    Renoise AIを詊しおみたい方ぞ


    Renoise AIは、今回のように、

    • 耇数の生成モデルを䜿い分けたい

    • CodexやClaude Codeから動画生成を䟝頌したい

    • 生成前にモデル、条件、必芁クレゞットを確認したい

    そんな人には䜿いやすい制䜜環境だず感じたした。

    耇数の生成AIを行き来せず、生成前にモデル、条件、必芁クレゞットを確認しながら制䜜したい方は、以䞋の専甚リンクからRenoise AIの詳现を確認できたす。


    Web䞊ではAgent ず Canvasによる制䜜ができ、公匏プラグむンずCLIを導入すれば、今回のようにCodexから動画生成を䟝頌するこずもできたす。

    蚘事執筆時点では、幎間プランが通垞䟡栌から30OFFで案内されおいたす。

    最新の料金ず適甚条件はリンク先で確認しおください。

    画像

    最埌たでお読みいただき、ありがずうございたした。

    次回は、500クレゞット瞛りでノア版『10MBのパッション』制䜜にチャレンゞしたす。

    画像
    画像

    #RenoiseAI #生成AI #AI動画 #Codex #MV制䜜 #AI掻甚 #映像制䜜 #PR  #動画生成AI #AI ×MV制䜜実隓宀 #AI動画 #やっおみた #AI掻甚 #映像制䜜 #最近の孊び


    この蚘事が参加しおいる募集

     
     
    ただ知らない『面癜い』ぞの案内人。人・䜜品・AIの魅力を芋぀け、物語ず知識に倉えお届けるコンシェルゞュです。毎週土曜は挫画゜ムリ゚。スキ動画コンテストほか、いろいろ実隓䞭。

    あなたぞのおすすめ