メインコンテンツへスキップ

SadTalkerで一枚絵を話す動画にする 会話演出の試作とオープンソースの注意点

    会話イベントのテンポを確かめたいけれど、表情の差分や口の動きまではまだ用意できていない。そんな段階で、顔画像と音声から動画を作る技術を調べてみると、SadTalkerという選択肢があります。

    ここでは、OpenTalkerが公開する研究プロジェクトを紹介します。同じ名前を使った有料サイトと混同せず、公式リポジトリと研究ページをもとに、制作への取り入れ方を考えます。インストールや生成テストは行っていません。

    目次

    ・SadTalkerの入力と出力

    ・会話シーンの試作に使うなら

    ・画像から動かすときの確認点

    ・無料のコードにも実行環境が必要

    ・ライセンスと素材の権利

    ・まとめ

    SadTalkerの入力と出力

    SadTalkerは、顔の画像と発話音声から、頭の姿勢や表情を推定して「話す顔の動画」を生成する研究です。CVPR 2023で発表されました。公式プロジェクトページでは、音声から3Dの動きに関する係数を作り、それを映像生成につなげる仕組みが説明されています。

    ここでいう3Dは、ゲームエンジンに読み込めるリグ付きモデルを納品するという意味ではありません。使う側がまず扱うのは動画です。Live2Dのように、作った後で口や目を好きなタイミングで操作する用途とも区別しておきたいところです。

    出典:https://sadtalker.github.io/

    会話シーンの試作に使うなら

    向いていそうなのは、短い会話演出の確認です。たとえば、自作の案内人がプレイヤーに目的を伝える場面を想定します。

    まず、セリフを三つほどに分け、音声をそれぞれ用意します。次に一枚絵から動画を作り、仮の字幕や背景と並べます。最後に、プレイヤーが読み終えるまでの時間と、次の操作へ移れるタイミングを確認します。

    この段階で見るのは、顔の自然さだけではありません。「目的を聞き逃しても字幕で分かるか」「説明が長く、操作を待たせていないか」「スキップ後に重要情報が残るか」も、会話シーンの出来を左右します。

    完成したゲームへ組み込む場合は、動画形式、ファイル容量、読み込み時間、字幕の別管理が新しい検討項目になります。長い台詞を一本の動画にまとめると、途中の一文を直すたびに作り直す範囲が広がります。短い単位で分けておく方が、更新の負担を見積もりやすくなります。

    画像から動かすときの確認点

    公式リポジトリには、頭の動きを抑えるStillモードや、画像全体を扱うモードなどが案内されています。作風に合わせて動かし方を比べる余地があります。

    出典:https://github.com/OpenTalker/SadTalker

    一方、静止画として成立している絵が、動いても同じ印象を保つとは限りません。実際に試すなら、目や口の輪郭、歯、頬の変化、首と服のつながりを見る必要があります。デフォルメが強い絵、横向きの顔、顔を覆う装飾がある絵などは、採用前に短い音声で評価したい条件です。

    元の立ち絵を完成動画に置き換えるかどうかは、結果を見て決めるのがよいと思います。試作では動きが助けになっても、本番では静止画と簡単な口パクの方が作品に合う場合もあります。

    無料のコードにも実行環境が必要

    公式リポジトリのコードは公開されています。利用料を支払うWebサービスとは異なり、自分で動かす場合はPython、関連ライブラリ、FFmpeg、モデルファイルなどを用意する必要があります。公式FAQには、ファイルの不足やGPUメモリ不足などの項目もあります。

    コードの価格が無料でも、GPUの用意、クラウド計算機の利用料、設定と保守の時間までゼロになるわけではありません。過去の依存関係を含む研究コードなので、普段の制作環境にそのまま混ぜず、分けた環境で動作確認する計画が無難です。

    出典:https://github.com/OpenTalker/SadTalker/blob/main/docs/FAQ.md

    ライセンスと素材の権利

    公式READMEは、ライセンスをApache 2.0へ変更し、非商用制限を撤廃したと明記しています。ただし、コードの利用条件と、入力する顔画像・音声の権利は別です。配布する構成に含む追加モデルや外部ライブラリにも、それぞれの条件があります。

    出典:https://github.com/OpenTalker/SadTalker/blob/main/LICENSE

    動画化を前提に、自作画像や利用許諾済み素材を用意するのが出発点になります。実在する人の顔や声を扱うなら、使用範囲について本人の同意を確認します。

    なお、sadtalker.aiというドメインと、今回の公式研究プロジェクトの運営上の関係は確認できていません。そのサイトの料金・保存条件・生成物の利用条件まで、Apache 2.0から判断しないようにします。

    まとめ

    ・一枚の顔画像と音声から、話す顔の動画を作る研究。

    ・会話イベントや案内動画の試作が用途の候補。

    ・ゲーム用3Dモデルや、操作可能なリグが得られるわけではない。

    ・コードの公開と、計算機や設定にかかる費用は分けて考える。

    ・Apache 2.0に加え、素材や追加モデルの条件も確認する。

    顔を動かすこと自体より、その動きが会話の理解や作品の雰囲気に役立つか。短い場面で比較するところから始めると、導入する意味が見えやすくなります。確認日:2026年11月11日。

    あなたへのおすすめ