メインコンテンツへスキップ
見出し画像

【VRChat】新フェイシャルへの移植をAIで試してみた|Quest Proで動いた構成とコピペ用プロンプト

    AIを使って、以前から使っていた輝夜アバターのフェイシャルを、自分用にVRChat SDKの新しいFace Tracking(以下、FT)へ移植してみました。

    今回もCodexからUnityへMCP接続し、私が「ChatGPT-6.1 Sol 軽」と呼んでいる設定を中心に相談しながら進めています。途中では別の設定も試しました。

    目・口・普段使う範囲の舌が動き、他の人から見た動作とワールドへの再入室時の動作も確認できました。 試行錯誤をそのまま繰り返さなくて済むよう、成功した構成をプロンプトに整理しました。

    📌 今回の環境と結果

    ・使用端末:Quest Pro/PC接続:Virtual Desktop
    ・送信アプリ:Steam版VRCFaceTracking 6.0 beta(2026年11月2日動作確認)+Virtual Desktopモジュール
    ・編集アプリ:Unity 2022.3.22f1、VRChat SDK Avatars/Base 3.10.6(正式版)、Modular Avatar、NDMF
    ・確認済み:目・口・舌動作、表情切替、他人からの見え方、再入室時の同期

    ※動作確認日は2026年11月2日。追記時点のVRCFTは6.0.0.0/Steam Build ID 26304255(同日更新)です。

    VRChat本体は正式版2026.4.1(10月28日公開)、SDKは正式版3.10.6(10月30日公開)で新たに実装されたFace Trackingに対応しています。
    顔の追跡データを送るVRCFaceTrackingは、Steamのbetaブランチを使いました(2026年11月2日動作確認)。 SDK公式リリース/本体公式リリース

    デスクトップのWebカメラ入力は未検証です。 Quest Proで動いたことを、Webカメラでも動くという意味では扱っていません。

    🛠️ 成功したのは「入力を新方式、変形は必要な分だけ残す」構成

    新SDKは基本の追跡にカスタム同期パラメーターを使わず、直接シェイプへ割り当てることもできます。今回は輝夜固有の複合補正を保つため、Parameter BehaviorsからローカルAnimatorへ50個の値を渡す互換方式にしました。既存の形状を使う構成で、AIが顔のシェイプを一から生成したものではありません。

    つまり、Animatorもパラメーターも完全にゼロにしたわけではありません。 旧FTの同期・量子化処理を除き、顔の追跡と手動表情は専用トグルで切り替えます。切替時は約0.15秒の中立リセットを挟み、目や口が二重に加算されたり、直前の表情で固まったりする問題を避けました。

    ⚠️ つまずきやすかったところ

    ① ミュートすると目だけ止まる
    私の環境ではVRChatの「マイクミュート時にアイトラッキングを無効化」と「Mic Mute Disables Face Tracking」を両方OFFにすると、ミュート中も動きました。SDKを直す前に、入力値とこの設定を確認するのが近道でした。

    画像

    ② 手のジェスチャーを残して、顔だけFT/表情を切り替える
    VRChat側のジェスチャーをOFFにすると、ジェスチャーによる手の形も使えなくなります。そのため、基本はONのまま使います。
    顔はアバター側のトグルで「FTモード/表情モード」を切り替える構成にしました。今回の環境では、VRChat側のジェスチャーをONにした状態でも、FTと表情アニメーションが顔に重ならず、手の形も使えることを確認できました。
    手のジェスチャーを残しながら顔の混在を防げるので、この切り替えが有効でした。

    画像
    VRChat全体のジェスチャーON/OFF
    画像
    アバター側で顔だけをFT/表情へ切り替える構成
    画像
    FT/表情へ切り替える

    ③ Write DefaultsやTracking Controlを一括変更しない
    今回のDirect BlendTreeは該当状態のWrite DefaultsをONにして正常化しました。FTモードの目・口はTracking、表情モードはAnimationです。
    他のアバターへ同じ値を無条件に適用するものではなく、統合後の制御まで確認が必要です。

    ④ 別のテスト版をアップしてしまう
    作業シーンを1つ、アップロード対象を1体に絞り、名前とBlueprint IDを両方確認します。新規テストのIDは空、本番更新時は更新先のIDを保持します。

    ⑤ 舌が動くことと、全入力の完全対応は別
    私が普段使う舌の動きは一通り確認できました。
    一方、SDKの舌先曲げ・つぶし・左右ひねり等の全キーを個別検証したわけではありません。端末の入力、アバターにある形状、割当結果は分けて確認します。

    📋 コピペ用:新規導入・既存FTの移植

    Unityで対象プロジェクトとシーンを開き、Unityを操作できる接続(MCPなど)を用意します。

    下の[ ]を埋め、「作業内容」を選んで全文を新しいチャットへ貼り付けてください。分からない項目は「不明」で構いません。
    接続できない場合も、次に必要な準備を案内する指示を入れています。

    ※このプロンプトは今回の作業と動作確認の結果をもとに整理したものです。ただし、このプロンプトだけで同じ設定を再現できるかは未検証です。必ず同じ結果になるとは限らないため、参考としてお使いください。

    以下の対象アバターに、VRChat SDKのFace Trackingを設定してください。この依頼に書いた情報と実プロジェクトを調べ、Unity側の設定・保存・ビルド検証まで進めてください。以前のチャットや特定アバター専用の手順を知っている前提にしないでください。
    
    【設定するアバター・使用環境】
    作業内容:[新規導入/既存FTの移植、のどちらか]
    Unityプロジェクトの場所:[フォルダーの絶対パス]
    対象シーン:[シーンのパス/現在開いているシーン]
    設定するアバター名:[UnityのHierarchyに表示されている名前をそのまま記入]
    使用端末:[例:Quest Pro/Webカメラ/不明]
    PCとの接続方法:[例:Virtual Desktop/該当なし/不明]
    トラッキングの入力元:[例:VRCFaceTracking+Virtual Desktopモジュール/VRChatのSelfie Expression/不明]
    残したい機能:[衣装切替、指のジェスチャー、手動表情、音声リップシンク、左右別の視線・まばたき、舌の動き、その他]
    既存FTの種類:[新規導入なら「なし」。分からなければ「不明」]
    
    【進め方】
    1. Unityを操作できる接続があるか、指定したプロジェクト・シーン・アバターが一致するかを確認。対象を特定できなければ、候補を示して私に確認してください。接続できない場合は、必要な準備と次の操作を具体的に案内し、未接続のまま編集済みと扱わないでください。分からない環境情報は調査し、こちらの操作が必要な点だけ質問してください。
    2. 編集前にAssets・Packages・ProjectSettingsと未保存シーンをバックアップし、整合性と復元方法を記録。元アバターと共有元アセットを保護し、まず1体だけ複製して作業してください。新規テスト用の複製はBlueprint IDを空にし、本番更新用の複製では更新先IDを保持してください。
    3. Unity/SDK/MA/NDMFと入力ソフトの対応状況を、導入済みの実装と公式資料で確認。Descriptor、Playable Layers、MA統合後FX、メニュー、同期・ローカルパラメーター、実メッシュの形状・中立値を調べてください。入力ソフトの起動だけでなく、目・口・舌の入力到達を確認。WebカメラはVRChatの機能か外部アプリかも区別し、端末の入力能力とアバターの形状対応を別々に判断してください。
    4. 新規導入はFace Trackingの直接マッピングを基本に、対象Rendererを登録し、外部入力にはUse All Tracking Keysを有効化。Auto-Fill後は実際の形状・左右・符号・倍率を確認し、Eye Gaze Mode・Eyelids Type・LipSyncも採用した方式に合わせて設定してください。形状がない項目を設定だけで作れると扱わず、不足と追加制作の必要性を説明してください。既存FTの移植では、既存クリップ・段階変形・複合補正を調べ、必要ならParameter BehaviorsからローカルAnimatorへ転送して維持してください。不要な旧同期・量子化・重複FT処理だけ外し、補助Visemeや表情連動を巻き込まないでください。
    5. 手動表情の有無を調べ、ある場合は顔専用のFT/手動表情切替を作り、両方が同時に顔を書き換えないようにしてください。指と衣装機能を残し、VRChat全体のジェスチャーOFFを切替手段にしないでください。直接マッピング方式ではBlendshapes Set等の切替、互換Animator方式では必要な顔レイヤーの排他制御を設計してください。目・口のTracking Controlの競合も確認。手動表情がない場合は、そのためだけの表情レイヤーや互換Animatorを新設しないでください。参考の成功例(互換Animator方式)は切替Bool 1個・同期1bit・初期FT ON・Saved OFF、FT時Tracking/表情時Animationですが、構成の違うアバターへ固定で適用しないでください。
    6. 切替時に直前の顔が残らないよう、中立状態へ戻してから次の制御へ渡してください。参考例は約0.15秒の中立リセットです。対象は関係する顔シェイプの実際の中立値とし、一律ゼロ化や衣装シェイプのリセットは避けてください。名前が異なっても同じ部分を変形するシェイプ、標準まばたき、音声リップシンクの二重駆動も調べてください。FT入力がない場合の目・口の動作も確認してください。
    7. MA/NDMF統合後のレイヤー番号・制御対象を検証し、Direct BlendTreeのWrite Defaultsを一律OFFにしないでください。参考例では該当状態をONにして正常化しました。空モーション、壊れた参照、孤立サブアセット、Missing Script、存在しないシェイプへの書き込みを点検し、エラーを残したまま完了にしないでください。
    8. 基本FT用のカスタム同期パラメーターを不要にし、Animatorへの転送値を誤って同期させないでください。統合ビルド後の使用bit・空きbit、旧FT同期の残存、割当済み・未割当・実機未検証を表で報告。同期容量とCPU/GPU負荷は別に扱ってください。舌の出し入れ・上下左右・丸め・複合補正も確認し、未対応の入力を推測で対応済みにしないでください。
    9. 保存とビルド検証後は、作業シーン1つ・対象1体だけ有効にし、アバター名とBlueprint IDを示してアップロード手順を案内してください。アップロードは私が行うか、別途依頼します。ミュート中も追跡させる場合は、VRChatの「マイクミュート時にアイトラッキングを無効化」と「Mic Mute Disables Face Tracking」を両方OFFにすることも案内してください。入力値とUserEyeTracking/UserFaceTrackingは切り分けに使い、Trueだけで変形成功とは判断しないでください。
    10. 私がVRChatで確認する項目を提示してください。FT/表情の往復、左右の視線・まばたき・口・舌、指・衣装・発声、ミュートON/OFF、アバター再選択に加え、他人からの見え方、後から参加した相手、ワールド再入室を確認します。異なる入力元は別検証としてください。成功してから他の衣装へ展開し、各衣装・メニュー・メッシュ差と更新先IDを維持。不要テストは依存関係を確認して復元可能な場所へ退避し、最後は作業するシーンを開いた状態にしてください。完了・未対応・未検証を分けて報告してください。
    
    公式資料:https://creators.vrchat.com/avatars/face-tracking/
    OSC資料:https://creators.vrchat.com/avatars/face-tracking/osc/

    🌱 新しくフェイシャルを設定したい場合

    上の「設定するアバター・使用環境」で、作業内容を「新規導入」にし、対象のプロジェクト・シーン・アバター名を記入します。

    たとえば「作業内容:新規導入」「対象シーン:現在開いているシーン」「設定するアバター名:MyAvatar」のように指定します。MyAvatarはHierarchyに表示される実際の名前へ置き換えてください。既存設定を移したい場合は、作業内容を「既存FTの移植」にします。どちらも上のプロンプト1本で依頼できます。

    💬感想

    元のフェイシャルとほぼ違和感がない状態まで移植できたので、新しい方式への移行は良さそうです。
    特に最終版では、同期パラメーターの空き容量が125bitになり、設定にかなり余裕ができました。
    QuestProで特殊設定をすると舌も綺麗に動き、口から不自然にはみ出すこともなく、いい感じでした。目も左右独立して動かせました。
    ただ、まばたきの速度が速く、半目の表情を細かく調整するのは難しく感じました。
    ※まばたきの速度を手動で調整できるかは未確認です。

    🔗 参考にした情報

    ・VRChat公式:Face Tracking
    https://creators.vrchat.com/avatars/face-tracking/
    ・VRChat公式:OSC Face Tracking
    https://creators.vrchat.com/avatars/face-tracking/osc/
    ・VRChat公式:State Behaviors
    https://creators.vrchat.com/avatars/state-behaviors/
    ・設定や表情切替の参考にした投稿
    https://x.com/MattariFriend/status/2116431683436310784
    https://x.com/plium_/status/2117075789116268609
    https://x.com/irotaru0/status/2116802068866551868

    ※2026年11月2日時点の私の環境での記録です。SDKや送信ソフトの更新に合わせ、実際の仕様を確認してください。

     
     
    VRChatのPublicでよく出没します。趣味で3Dモデリングなんかもやっています。Vrchatに役に立つ記事や趣味的な記事でも載せていこうと思っています。販売モデル→https://haruru806.booth.pm/

    あなたへのおすすめ