メインコンテンツへスキップ
見出し画像

アニメ特化の動画生成AIモデル「AnimeGen」を公開しました

    こんにちは、AIdeaLabの開発チームです。
    この度、商用利用なアニメ特化の動画生成AIモデル「AnimeGen」を無償公開しました。
    AnimeGenは、経済産業省と国立研究開発法人新エネルギー・産業技術総合開 発機構 (NEDO) が実施する、国内の生成AIの開発力強化を目的としたプロジェクト「GENIAC( Generative AI Accelerator Challenge)」の支援のもと、AIdeaLabが開発した基盤モデルです。

    開発したモデル群

    私たちは、テキストから動画を生成できるText to Video、画像から動画を生成できるImage to Videoの2つのAnimeGenモデルの公開を行いました。また、上記のモデルが試せるデモページと、画像と画像の間を生成するフレーム補間(Frame Interpolation)ができるデモページを公開しました。

    AnimeGenは、以下のURLからHuggingface Spaceで無料で試すことができます。

    1. AnimeGen Text to Video Demo (Huggingface Space)
      https://huggingface.co/spaces/aidealab/AnimeGen-T2V

    2. AnimeGen Image to Video Demo (Huggingface Space)
      https://huggingface.co/spaces/aidealab/AnimeGen-I2V

    3. AnimeGen Frame Interpolation Demo (Huggingface Space)
      https://huggingface.co/spaces/aidealab/AnimeGen-Frame-Interpolation

    画像
    Huggingface Spaceにて、AnimeGen T2Vを試す様子

    AnimeGenは、以下のURLからhuggingfaceで無料でモデルのダウンロードができます。

    1. AnimeGen Text to Video Model
      https://huggingface.co/aidealab/AnimeGen-T2V

    2. AnimeGen Image to Video Model
      https://huggingface.co/aidealab/AnimeGen-I2V

    AnimeGen公開の目的

    AnimeGenは、テキストや画像をもとに、アニメ調の動画を生成するためのAIモデルです。
    私たちは、アニメ制作や動画制作における試行錯誤を支援する技術として、AnimeGenの開発に取り組んできました。今回、その成果をより多くの方に使っていただけるよう、無償で公開します。
    オープンソース化により、研究者・開発者・クリエイターをはじめとする幅広いユーザーが『AnimeGen』を自由に活用し、アニメ領域における新たな表現活動や技術開発を推進できる環境が整います。アニメという日本が世界に誇る文化領域において、誰もが先端技術を手にできるオープンな基盤を提供することで、創作の可能性を広げることを目指します。

    開発の背景

    今では、アニメ調の画像や動画を生成するAIは、以前よりも身近なものになりました。
    しかし、AnimeGenの開発を始めた2024年当初は、アニメ領域で十分に高品質な生成を行うことは、まだ簡単ではありませんでした。
    私たちは、アニメ生成AIには大きな可能性があると考えています。
    たとえば、アニメ制作における中割の補助、ムービーコンテの作成、背景や構図案の検討、映像表現の試作など、制作工程のさまざまな場面で活用できる可能性があります。もちろん、現時点ですべてを自動化できるわけではありません。しかし、制作に関わる人たちの試行錯誤を支援し、作業負荷を下げる道具にはなり得ると考えています。
    AnimeGenは、その可能性を確かめるための第一歩として開発されました。
    また、公開にあたっては、いきなり一般公開するのではなく、まず安全性や実用性を確認するため、約半年間にわたってベータテストを行いました。その範囲では、特に重大な権利侵害等の問題は確認されませんでした。

    この結果を踏まえ、今回、AnimeGenをより広く公開することにしました。

    AnimeGenの生成例

    AnimeGenは、テキストからアニメ動画を生成することができます。
    たとえば、テキストから生成する場合は、

    桜並木を歩く少女

    と入力するだけで、桜並木を歩く少女のアニメ動画を生成できます。
    また、画像を入力として用いることで、既存のビジュアルをもとにしたアニメ生成にも活用できます。

    実際に、生成した例をいくつか紹介します。
    まず、テキストから動画を生成できるText to Videoで、桜並木を歩く少女を生成してみます。

    確かに桜並木を歩く少女を生成することができました。
    次に以下の画像から動画を生成できるImage to Videoを試してみます。


    画像
    入力画像

    この画像から夕焼けの屋上で振り返る少女の動画を生成してみます。

    確かに夕焼けの屋上で振り返る少女の動画ができました。

    最後に画像と画像の間を生成するフレーム補間を試してみます。例えば、次の2枚の画像を動画の最初と最後に指定してみます。

    画像
    最初の入力画像
    画像
    最後の入力画像

    確かに目を開く動画ができました。
    生成結果を見ると、AnimeGenがどのような表現を得意としているか、また現時点でどのような課題があるかが分かりやすいと思います。

    AnimeGenの技術概要

    技術的には、AnimeGenはAlibabaの動画生成モデル「Wan 2.2」をベースに、アニメ領域に特化するよう追加学習したモデルです。
    Wan 2.2は世界で初めて動画生成に Mixture of Experts を採用したモデルです。2つの専門家モデルを使い分けて、単一のモデルであるWan 2.1よりも高品質な画像を生み出すことができます。
    Wan2.2の技術詳細は下記を参照してください。

    Wan 2.2の高性能な動画生成モデルを活用し、その表現能力をアニメ生成に向けて調整しています。この構成により、Wan 2.2が持つ動画生成能力を活かしながら、アニメ調の動画生成に適した出力を目指すことができます。
    また、既存のWan 2.2向けの技術やツール、推論環境を活用しやすいことも大きな利点です。すでに多くの開発者やユーザーによって周辺ツールが整備されつつあり、AnimeGenもそのエコシステムの中で改善されていくことを期待しています。
    今後、開発コミュニティの皆さまと一緒に、さらに品質や使いやすさを高めていければと考えています。

    AnimeGenでまだできないこと

    AnimeGenは、まだ完成されたモデルではありません。
    現時点では、できることとできないことがあります。
    特に大きな課題のひとつは、参考画像をもとにした安定したアニメ生成です。入力画像の内容や構図を保ちながら、意図した通りのアニメ動画を生成するには、まだ改善の余地があります。

    クリエイターとの協力について

    AnimeGenは、技術だけで完結するものではありません。
    画像生成や動画生成のモデルを作っていると、どうしても「高解像度に出る」「破綻が少ない」「プロンプトに従う」といった、技術側から見た評価に寄りがちです。もちろん、それらは重要です。
    しかし、実際の制作の現場で重要なのは、それだけではありません。

    絵として魅力があるか。
    キャラクターの印象が保たれているか。
    構図に意図があるか。
    線や色に気持ちよさがあるか。
    制作フローの中で、どこに入ると役に立つのか。
    逆に、どこから先は人間が描くべきなのか。

    こうした判断は、モデルを作っている側だけでは十分に分かりません。アニメ、イラスト、漫画、ゲーム、映像などの制作に関わっているクリエイターの視点が不可欠です。
    そのため、AnimeGenは「モデルを公開して終わり」ではなく、クリエイターの方々と一緒に、実際に使える形を探っていきたいと考えています。
    生成結果へのフィードバック、失敗例や違和感の共有、制作工程における活用方法の検討など、さまざまな形での協力を歓迎します。
    特に知りたいのは、「AIとしてすごいか」よりも、「制作の中で本当に使えるか」です。

    ラフの発想出しに使えるのか。
    背景案のたたき台に使えるのか。
    キャラクター案の探索に使えるのか。
    色や構図のバリエーション出しに使えるのか。
    あるいは、現時点では使いづらいのか。

    そうした率直なフィードバックをもとに、AnimeGenを改善していきたいです。

    おわりに

    AnimeGenは、完成品というより、これから育てていくための公開です。
    技術者だけで「良いモデル」を決めるのではなく、実際に絵を描く人、映像を作る人、キャラクターを考える人、制作現場にいる人と一緒に、「どうすれば創作に役立つ道具になるのか」を考えていきたいです。
    クリエイターの方から見て、良いところ、悪いところ、気持ち悪いところ、惜しいところ、意外と使えそうなところを教えてもらえると、とても助かります。
    AnimeGenを、単なる生成モデルではなく、創作の現場と対話しながら改善されていくプロジェクトにしていきたいです。

    ぜひ、AnimeGenを試してみてください。

    お問い合わせ

    AIdeaLabでは、動画生成AIを活用した開発やAI動画の制作に関するご相談を承っております。アニメ制作工程へのDX(デジタルトランスフォーメーション)導入も支援可能です。どうぞお気軽にお問い合わせください。
    https://aidealab.com/contact


     
     
    AIdeaLabはAIとIdeaをかけ合わせ、革新的なプロダクトを連続的に生み出すスタートアップスタジオです。私たちは最先端のAI技術を駆使し、0から1へのプロダクト開発に特化しています。

    あなたへのおすすめ