
生成AIなんでも展示会vol.5の出展内容
明日2026年5月6日開催の、生成AIなんでも展示会vol.5に出展します!
この記事は、展示会に来て展示を見てくれた人のための情報置き場です。ただ、時間がないので、とりあえずアップロードしたよ、という状態です。展示会終わって好評だったら追記するとか、しないとか。
今回の出展タイトルは、「かわいい動物キャラをローカルPCで動かすアレコレ」です。「かわいい動物キャラ」すなわち、
2~3頭身のちびっこいプロポーション
動物、ケモノ、半獣
リアルというより、フラットなカラーリング
そんな特徴を備え持つキャラクターのことです。「かわいい」かどうかの判定はもちろん各自の主観ではございますが、ここではそういう定義にします。
ところで、みなさまも「かわいい動物キャラ」の画像1枚から、キャラがいきいきと動き回る動画を生成したいですよね? ね? この半年でクラウドの動画生成サービスでも「かわいい動物キャラ」だいぶできるようになってきました。Seedance 2.0のプロンプト追従度やキャラ一貫性は革命的ですね。(動画のあるXへのリンク)
しかし、
自由度が低かったり
リアルな人間寄りの出力になったり
もしくはコストが高かったり
と、まだローカルPCの方が有利です。そして、クラウドが対応しないようなニッチなことはまだまだあります。
そんなわけで、かわいい動物キャラをローカルPCで動かすための技術を紹介する展示となります。今回の出し物は3つです。
1:ちびキャラポーズ推定機械学習モデル「mascot pose detect」

2:bpmに合わせて動かすComfyUIノード「Rhythm-Tracks」

3:パペットをポーズの入力装置にする「Puppet Interface」

ここから下に、それぞれの出し物で使った資料やデモ、ワークフローなどの情報を置いていきます。
(行きの新幹線で書くのでとありあえずの情報のみになります…)
ちびキャラポーズ推定機械学習モデル「mascot pose detect」

Mascot Pose Detectorのノードが入っているComfyUIのカスタムノード、ComfyUI-ProportionChangerのリポジトリのリンクです。
下リンクは、mascot pose detectモデルの🤗HugingFaceのリポ、上記のノードから自動ダウンロードされるので意識する必要はない。
下リンクは展示会で使った(使う)ワークフロー。
Wan_SCAIL_pose_control(exhibition_vol5_mascot_pose_detect).json
上記の新作、マスコットのポーズ自動推定ノード「mascot pose detect」を含む、マスコットのポーズ転移ワークフローです。WanビデオのSCAILモデルを利用しています。もはや同じプロンプトで、かわいい動物キャラ画像を変えるだけで人間のポーズ転移ができるようになりました。
1つ目はメイン、ちびキャラポーズ推定機械学習モデル「mascot pose detect」。左が学習前、右が学習後。ちびキャラや動物キャラのポーズ推定が高い確率でできるようになり、人間→キャラのポーズ転移はもちろん、キャラ→キャラのポーズ転移もできるようになります。 pic.twitter.com/AZyPEGy4AO
— ⚙gear machine@AI (@grmchn4ai) May 5, 2026
Bpmに合わせて動かすComfyUIノード「Rhythm-Tracks」

Rhythm-Tracksは、LTX-2.3 ComfyUIのカスタムノードです。IC-LoRA-Motion-Track-ControlというLTX-2.3のLoRAに使えるフロー動画を、bpmの直接入力や音楽から抽出したbpmから生成します。
展示会で使った(使う)ワークフロー
LTX-2.3_extend_loop(exhibision_vol5) MultiGPU.json: LTX-2.3 loop extension workflow
ComfyUI-Rhythm-Tracksのノードを含み、IC-LoRA-Motion-Track-Controlにオプティカルフローを生成します。
2つ目はニッチ、Bpmに合わせて動かすComfyUIノード「Rhythm-Tracks」です。IC-LoRA-Motion-Track-ControlというLTX-2.3のLoRAに使える動く点のフロー動画を、bpmを入力、または音楽から抽出することで生成します。これを使うと、よりリズムに合わせて動かす生成ができるようになります。 pic.twitter.com/itB2VrGVWB
— ⚙gear machine@AI (@grmchn4ai) May 5, 2026
パペットをポーズの入力装置にする「Puppet Interface」

Gemini 3.1 や GPT-5.5 など画像の認識能力が高いモデルをつかったアノテーションにより、パペット人形の画像から目などキーポイントを取得して、それを機械学習させました。また、そのモデルで取得できる2次元座標から、画像の深度などを組み合わせ独自の計算方法によりキャラクターの3次元的なポーズを取得します。それを利用して、生成AIでつくった3Dモデルを動かす、というデモになります。
3つ目は実験作、パペットをポーズの入力装置にする「Puppet Interface」です。最新LLMをアノテーションさせて機械学習することにより、パペットのキーポイント座標がとれるようになり、それと画像深度などを利用し3次元座標を計算し、AIで生成した3Dモデルを動かすというデモです。 pic.twitter.com/yvMEQ1VL10
— ⚙gear machine@AI (@grmchn4ai) May 5, 2026