メインコンテンツへスキップ
見出し画像

【VRChat】別アバターへのフェイシャル移植・新規設定をAIに任せるコピペ用プロンプト

    前回は輝夜のフェイシャルをVRChatの新しいFace Tracking(以下FT)へ移植しました。今回は輝夜(Kaguya)をお手本に、ミルフィー(Milfy)の顔へ合わせ直しています。

    画像

    Unity側の調査・編集・ビルド・アップロードはChatGPT主体で進め、VRChatでの動作確認はこちらが担当しました。左右別の視線や寄り目、笑顔、舌の動きを調整し、最後は自分が使う範囲で満足できる状態になりました。

    移植の基本や前回の構成は、こちらの記事にまとめています。https://note.com/haruru806/n/n661b725ff659

    📌 今回の環境

    • AI:ChatGPT Plusで利用したCodexデスクトップ。保存ログのモデルIDは gpt-6.1-sol軽

    • VR機器:Quest Pro、PCとの接続はVirtual Desktop

    • 入力:Steam版VRCFaceTracking+Virtual Desktopモジュール。前回記事では6.0 betaの構成を掲載

    • 編集:Windows、Unity 2022.3.22f1、VRChat SDK Base/Avatars 3.10.6

    • 今回のUnity操作:Windowsの画面操作と、AIが作成したUnity用の編集スクリプト

    Plusの範囲で、追加課金をしない条件で進めました。チャットへ文章を貼るだけで、どの環境でもUnityを操作できるという意味ではありません。対象のUnityを操作できる準備が必要です。

    🛠️ 最初に決めたこと

    元のプロジェクトを読み取り専用で調べ、バックアップと作業用コピーを用意しました。見本の設定を調べたうえで、ミルフィーの顔の形状や元の表情に合わせて調整しています。

    ミルフィー独自の指の形は残し、顔だけをFT/手動表情で切り替える構成にしました。SDKへのログインと、素材を使う権利の確認はこちらが対応しています。

    画像

    前回の輝夜の画面です。今回も、顔をFTと手動表情で切り替える考え方を参考にしました。

    💬 実際に返した指示と調整結果

    以下は実際の指示からの抜粋です。

    ① 指のジェスチャーは残す

    ミルフィーちゃんの独自の指のジェスチャーの形状はちゃんと維持してほしいです。

    顔の切替を作る際に、指まで使えなくならないように伝えました。元の指の設定を残し、最後にも確認しています。

    ② への字の口を、笑える口にする

    口を開いてもへの字の形状で開くだけですね

    口は動いていても、元の表情に引っ張られていました。FT中の口の初期状態と笑顔を調整し、口を左右へ大きく動かすための形も作業用データに追加しました。

    ③ 舌は、出し始めや斜めの動きも確認する

    舌の上向きと上向きの左右も動作していなさそう。左右は動作はしている

    舌が出るようになった後も、ゆっくり出すと下唇に隠れる、上向きや斜め上下が弱い、口を開くと舌が出たままになる、といった問題を返しました。画像も渡し、口の開きと舌の位置、反応の強さを段階的に調整しています。

    ④ 瞳は、動く幅と反応の強さを分けて頼む

    上を向いてもすぐには瞳が小さくならないように少し感度を抑えるといいかな?

    最初は視線の動く幅が小さく、その後は瞳が縮む反応が強すぎました。何を見ているか分かる動きにしつつ、軽く上を見ただけで瞳が縮まないように調整しました。

    ⑤ 目が左右に動いても、寄り目は別に確認する

    左右の目が独立していないように思えます。寄り目ができないのと、ちょっと違和感を感じますので見てほしい。

    AIが作った設定で左右の入力をまとめていたため、寄り目の動きが打ち消されていました。片目ずつ別の形と入力に分けて修正しています。

    画像

    Unityへ確認用の入力値を与えた画像です。VRChatの実機写真ではありません。上段は中立、弱めの寄り目、寄り目、外向きの比較です。

    📋 コピペ用プロンプト2種類

    見本にするアバターがあれば「A」、なければ「B」のプロンプトを使います。それぞれ単独で、新しいチャットへ全文を貼って使える形です。
    [ ]を埋め、分からない項目は「不明」にしてください。

    今回なら「見本:輝夜(Kaguya)」「移植先:ミルフィー(Milfy)」です。自分が使うアバター名へ置き換えてください。
    Unity内の名前が呼び名と違う場合もあるため、分からなければ候補を調べてもらいます。

    プロジェクトの場所は、例として E:\VCC\Kaguya や E:\VCC\Milfy のようなフォルダーのパスです。
    エクスプローラーで対象フォルダーを開き、アドレス欄からコピーできます。
    Assets、Packages、ProjectSettings がある階層を指定してください。
    参考記事のURLだけでは編集対象を特定できないので、場所が分からなければ、そのことから相談します。

    今回の作業をもとに整理した依頼文です。
    別の環境で、このプロンプトだけを使った再現テストはしていません。
    機材から届く入力や、アバターに用意されている顔の形で、できることは変わります。

    A:見本のアバターから移植・調整する

    完成済みのアバターを見本に、別のアバターへアイトラッキング・フェイストラッキングを設定してください。以前の会話を知らない前提で、実データを調べて進めてください。
    
    【対象】
    見本のUnityプロジェクト:[絶対パス]
    見本のシーン・アバター名:[例:輝夜。Unity上の名前も分かれば記入/不明]
    移植先のUnityプロジェクト:[絶対パス]
    移植先のシーン・アバター名:[例:ミルフィー。Unity上の名前も分かれば記入/不明]
    VR機器・PC接続・入力ソフト:[例:Quest Pro、Virtual Desktop、VRCFaceTracking]
    残す機能:[指の形、衣装、手動表情、音声リップシンクなど]
    似せたい動き:[視線、笑顔、口の左右移動、舌など]
    追加課金:しない
    
    【進め方】
    1. 対象のUnityを操作できる接続を確認してください。MCPや許可された画面操作など、使える方法を示してください。接続できなければ準備を案内し、編集済みと扱わないでください。パスや対象が不明なら先に確認し、参考記事のURLと編集するプロジェクトを区別してください。
    2. まず読み取り専用で両方を調査。シーン、Prefab、実際に顔を描くメッシュ、顔の変形と初期値、目・口の骨、Animator/FX、メニュー、パラメーター、SDKと入力機材の対応を確認してください。名前が呼び名と違う場合や対象が複数ある場合は、候補を示して特定してください。
    3. Assets・Packages・ProjectSettings、未保存の変更の扱いを含めてバックアップ計画と変更計画を説明。承認後にバックアップを作成・照合し、戻し方を記録してください。元を保護した作業用コピーで編集してください。
    4. 見本のどの設定が必要かを調べ、移植先の顔へ合わせてください。同名の形状でも左右・向き・倍率・初期値が合うか確認し、足りない動きと追加制作の必要性を説明してください。新しい形状は複製メッシュに作り、元FBXを保護してください。
    5. 左右別の視線・寄り目・瞬き、自然な笑顔、口の動き、舌の出し入れと上下左右・斜めを確認。口を開くだけで舌が出ないか、舌の出し始めに唇へ隠れないかも調べてください。感度は実際の入力と見た目に合わせ、固定値を無条件に採用しないでください。
    6. 顔のFTと手動表情が重ならない切替を作り、指・衣装・音声の機能を維持してください。形状追加、既存データの変更・削除、ダウンロード、外部送信は事前に説明し、承認を得てください。
    7. 保存・ビルド後に参照切れ、制御の重複、指や元データの変化を確認。作業シーン、対象、対応済み・未対応・未検証と、私が実機で確認する項目を報告してください。
    8. 新規テストか既存アバター更新かを確認し、名前・公開範囲・Blueprint IDを示してください。新規テストで元のアバターを上書きせず、既存更新では更新先IDを維持してください。アップロードは別途承認を得てから。同じ入力・同じ顔が全端末で再現できるとは扱わないでください。
    ログインや権利確認など本人の操作が必要な部分だけ案内してください。利用枠の残量が分かる場合は5%未満で新しい作業を止め、安全に保存・記録して待機してください。

    B:見本なしで新しく設定・調整する

    見本のアバターはありません。対象アバターを調べ、アイトラッキング・フェイストラッキングを新規設定、または既存設定を調整してください。以前の会話や特定アバターの手順を知らない前提で進めてください。
    
    【対象】
    Unityプロジェクト:[絶対パス]
    シーン・アバター名:[シーンの場所とUnity上の名前/不明]
    作業内容:[新規設定/既存設定の調整/不明]
    VR機器・PC接続・入力ソフト:[分かる範囲で記入]
    残す機能:[指の形、衣装、手動表情、音声リップシンクなど]
    目指す雰囲気:[元の顔を保って自然に/表情豊かに、など]
    追加課金:しない
    
    【進め方】
    1. 対象のUnityを操作できる接続を確認。MCPや許可された画面操作など使える方法を示し、接続できなければ準備を案内してください。未接続のまま編集済みと扱わないでください。パスや対象が不明なら先に確認し、参考記事のURLと編集するプロジェクトを区別してください。
    2. まず読み取り専用で、シーン、Prefab、顔のメッシュと変形の初期値、目・口の骨、Animator/FX、メニュー、パラメーター、SDKと入力機材の対応を調査。元の表情や既存FTの状態も確認してください。
    3. Assets・Packages・ProjectSettingsと未保存の変更についてバックアップ計画と変更計画を説明。承認後にバックアップを作成・照合し、戻し方を記録してください。元を保護した作業用コピーで編集してください。
    4. 使える顔の形と入力から設定案を作り、元の雰囲気に合う中立顔・笑顔・視線・瞬き・口・舌へ調整してください。機材にない入力や、設定しても動かせない項目は説明し、対応済みにしないでください。不足する形状は追加制作案を示し、承認後に複製メッシュへ作ってください。
    5. 左右別の視線・寄り目、片目ずつの瞬き、見開いたときの瞳、笑顔、口の左右移動、舌の出し始め・上下左右・斜めを確認。できない項目は理由を分けて報告してください。弱い入力で表情が出すぎないよう、実機の意見を受けて感度を調整してください。
    6. 手動表情があれば顔のFTと混ざらない切替を作り、指・衣装・音声の機能を維持してください。形状追加、既存データの変更・削除、ダウンロード、外部送信は事前に説明し、承認を得てください。
    7. 保存・ビルド後に参照切れ、制御の重複、元データや指の変化を確認。作業シーン、対象、対応済み・未対応・未検証と、私が実機で確認する項目を報告してください。
    8. 新規テストか既存アバター更新かを確認し、名前・公開範囲・Blueprint IDを示してください。新規テストで元のアバターを上書きせず、既存更新では更新先IDを維持してください。アップロードは別途承認を得てから。同じ設定が全端末で動くとは扱わないでください。
    ログインや権利確認など本人の操作が必要な部分だけ案内してください。利用枠の残量が分かる場合は5%未満で新しい作業を止め、安全に保存・記録して待機してください。

    🌱 仕上がりと確認範囲

    「何をしたときに、どう見えたか」を返しながら、最後の視線まで調整しました。また、デスクトップでも動作が確認できました。ミルフィーは割といい感じ。
    ただ、輝夜は既存フェイシャルの設定が強いのか視線がすごい動いてしまっていましたので、デスクトップの場合は調整が必要になりそうでした。

    画像
     
     
    VRChatのPublicでよく出没します。趣味で3Dモデリングなんかもやっています。Vrchatに役に立つ記事や趣味的な記事でも載せていこうと思っています。販売モデル→https://haruru806.booth.pm/

    あなたへのおすすめ