メインコンテンツへスキップ
見出し画像

生成AIなんでも展示会vol.5の出展内容

    明日2026年5月6日開催の、生成AIなんでも展示会vol.5に出展します!
    この記事は、展示会に来て展示を見てくれた人のための情報置き場です。ただ、時間がないので、とりあえずアップロードしたよ、という状態です。展示会終わって好評だったら追記するとか、しないとか。

    今回の出展タイトルは、「かわいい動物キャラをローカルPCで動かすアレコレ」です。「かわいい動物キャラ」すなわち、

    • 2~3頭身のちびっこいプロポーション

    • 動物、ケモノ、半獣

    • リアルというより、フラットなカラーリング

    そんな特徴を備え持つキャラクターのことです。「かわいい」かどうかの判定はもちろん各自の主観ではございますが、ここではそういう定義にします。

    ところで、みなさまも「かわいい動物キャラ」の画像1枚から、キャラがいきいきと動き回る動画を生成したいですよね? ね? この半年でクラウドの動画生成サービスでも「かわいい動物キャラ」だいぶできるようになってきました。Seedance 2.0のプロンプト追従度やキャラ一貫性は革命的ですね。(動画のあるXへのリンク)

    しかし、

    • 自由度が低かったり

    • リアルな人間寄りの出力になったり

    • もしくはコストが高かったり

    と、まだローカルPCの方が有利です。そして、クラウドが対応しないようなニッチなことはまだまだあります。

    そんなわけで、かわいい動物キャラをローカルPCで動かすための技術を紹介する展示となります。今回の出し物は3つです。

    1:ちびキャラポーズ推定機械学習モデル「mascot pose detect」

    画像
    かわいい動物キャラの画像を入力したら、ポーズのキーポイント座標を出力する

    2:bpmに合わせて動かすComfyUIノード「Rhythm-Tracks」

    画像
    bpmの数値を入力、または曲から抽出して、動きの軌跡を生成する

    3:パペットをポーズの入力装置にする「Puppet Interface」

    画像
    ぬいぐるみを入力として、画像から生成したかわいい動物キャラの3Dモデルを動かす


    ここから下に、それぞれの出し物で使った資料やデモ、ワークフローなどの情報を置いていきます。
    (行きの新幹線で書くのでとありあえずの情報のみになります…)

    ちびキャラポーズ推定機械学習モデル「mascot pose detect」

    画像
    1枚説明図

    Mascot Pose Detectorのノードが入っているComfyUIのカスタムノード、ComfyUI-ProportionChangerのリポジトリのリンクです。

    下リンクは、mascot pose detectモデルの🤗HugingFaceのリポ、上記のノードから自動ダウンロードされるので意識する必要はない。

    下リンクは展示会で使った(使う)ワークフロー。

    Wan_SCAIL_pose_control(exhibition_vol5_mascot_pose_detect).json

    上記の新作、マスコットのポーズ自動推定ノード「mascot pose detect」を含む、マスコットのポーズ転移ワークフローです。WanビデオのSCAILモデルを利用しています。もはや同じプロンプトで、かわいい動物キャラ画像を変えるだけで人間のポーズ転移ができるようになりました。

    1つ目はメイン、ちびキャラポーズ推定機械学習モデル「mascot pose detect」。左が学習前、右が学習後。ちびキャラや動物キャラのポーズ推定が高い確率でできるようになり、人間→キャラのポーズ転移はもちろん、キャラ→キャラのポーズ転移もできるようになります。 pic.twitter.com/AZyPEGy4AO

    — ⚙gear machine@AI (@grmchn4ai) May 5, 2026


    Bpmに合わせて動かすComfyUIノード「Rhythm-Tracks」

    画像
    1枚説明図

    Rhythm-Tracksは、LTX-2.3 ComfyUIのカスタムノードです。IC-LoRA-Motion-Track-ControlというLTX-2.3のLoRAに使えるフロー動画を、bpmの直接入力や音楽から抽出したbpmから生成します。

    展示会で使った(使う)ワークフロー

    LTX-2.3_extend_loop(exhibision_vol5) MultiGPU.json: LTX-2.3 loop extension workflow

    ComfyUI-Rhythm-Tracksのノードを含み、IC-LoRA-Motion-Track-Controlにオプティカルフローを生成します。

    2つ目はニッチ、Bpmに合わせて動かすComfyUIノード「Rhythm-Tracks」です。IC-LoRA-Motion-Track-ControlというLTX-2.3のLoRAに使える動く点のフロー動画を、bpmを入力、または音楽から抽出することで生成します。これを使うと、よりリズムに合わせて動かす生成ができるようになります。 pic.twitter.com/itB2VrGVWB

    — ⚙gear machine@AI (@grmchn4ai) May 5, 2026


    パペットをポーズの入力装置にする「Puppet Interface」

    画像
    1枚説明図

    Gemini 3.1 や GPT-5.5 など画像の認識能力が高いモデルをつかったアノテーションにより、パペット人形の画像から目などキーポイントを取得して、それを機械学習させました。また、そのモデルで取得できる2次元座標から、画像の深度などを組み合わせ独自の計算方法によりキャラクターの3次元的なポーズを取得します。それを利用して、生成AIでつくった3Dモデルを動かす、というデモになります。

    3つ目は実験作、パペットをポーズの入力装置にする「Puppet Interface」です。最新LLMをアノテーションさせて機械学習することにより、パペットのキーポイント座標がとれるようになり、それと画像深度などを利用し3次元座標を計算し、AIで生成した3Dモデルを動かすというデモです。 pic.twitter.com/yvMEQ1VL10

    — ⚙gear machine@AI (@grmchn4ai) May 5, 2026


    あなたへのおすすめ