メインコンテンツへスキップ
見出し画像

Museから自宅のAnimaを動かしてみた。

    Museと会話しながら、自宅のPCで画像を生成できるようにしてみました。

    日本語でMuseに描きたいものを伝えるだけ。 そうすると自宅のComfyUIとモデルが動き、できあがった画像が会話に戻ってきます。

    画像

    やり方はシゴデキAIエージェントに
    「Museからの指示でComfyで生成できるようにしたい」
    と言うだけです。

    …とはいえ真面目に書いておきます。
    →簡略版はXにあります。

    導入の流れ(私の場合)

    1. 既存のAnima環境で、まず1枚生成する

    接続を増やす前に、手元のComfyUIでAnimaが正常に動くことを確認しました。

    私の環境では、画像生成用が8189番、動画生成用が8188番です。
    ComfyUIの説明でよく見かける8188番を、そのまま画像生成の接続先にすると違う環境へつながってしまいます。
    ここは自分の起動設定を確認する必要がありました。

    使用中のAnima用ワークフローをAPI形式で用意し、それをMuseCon用にコピーしました。
    元のワークフローは残しています。

    2. 生成に必要な操作だけを受け付けるAPIを用意する

    MuseCon(既存の生成環境にMuseから依頼を送れるように追加した小さな接続プログラム)の実装はCodexに依頼しました。

    Museから渡せる内容は、プロンプト、ネガティブプロンプト、シードなどに限定しています。
    PC内の任意のファイルを読んだり、自由なコマンドを実行したりする機能は設けていません。
    最初の目標は「Animaで画像を1枚生成する」だけだったので、モデルやサイズは固定しました。
    再送で同じ画像生成を重複実行しないよう、依頼を識別するIDも使っています。

    3. 自宅PCとMuseをTailscaleで接続する

    自宅PCにTailscaleを入れてログインし、MuseにもTailscaleコネクターの接続を依頼しました。
    Muse側で表示された承認リンクを開き、自分のネットワークへの参加を承認します。
    参加後は、管理画面にMuseの端末が表示されました。

    Museをネットワーク内の独立した端末として扱い、アクセス権を設定できる仕組みは、Tailscale公式でも紹介されています。TailscaleによるMuse連携の説明

    4. Museから接続できる範囲を絞る

    最初のTailscale設定には「すべての端末が、すべての端末の、すべてのポートに接続できる」というルールがありました。
    そこへMuse専用の狭い許可を追加するだけでは、元の全許可が残ります。

    そこで、既存の端末が使っている接続を保ちながら、Museは自宅PCの画像生成用ポートだけに接続できるよう設定を見直しました。

    IPv4とIPv6の両方を対象にし、ポリシーのテストもアドレスの種類ごとに分けました。途中ではIPセットの記法やテストの書き方でエラーが出ましたが、管理画面の検証を通してから保存しています。

    既存の全許可ルールとの関係は、設定時に確認したい部分です。
    Tailscaleの許可ルールは追加で効くため、狭いルールを足しても、広い許可は打ち消されません。Tailscaleのgrants仕様

    5. Tailscale Serveで専用APIにつなぐ

    PC内のポートは、次のように分けました。

    画像

    私の設定で使ったコマンドは、次の形です。

    tailscale serve --bg --https=8191 http://127.0.0.1:8190

    Tailscale内から届いたHTTPSリクエストを、PC内のMuseConへ転送します。
    ComfyUI自体はローカル待ち受けのままで、`--listen`を追加する必要はありませんでした。

    新しい入口にはTailscale Serveを使っています。
    これはTailscaleネットワーク内向けの接続で、一般公開用のFunnelとは用途が異なります。Tailscale Serveの公式説明

    6. 接続確認をしてから認証キーを登録する

    最初はAPIキーを渡さず、Museから`/health`へアクセスしてもらいました。

    結果はHTTP 401で、本文は次の内容でした。

    {"error": "unauthorized"}

    この段階では想定どおりです。自宅のAPIまで通信が届き、認証なしのアクセスが拒否されたことを確認できました。
    証明書の検証も有効なまま通っています。

    次にMuseが用意した「Home Anima Api」の安全な入力画面で、PC側が発行した専用APIキーを登録しました。
    キーは通常のチャット本文には貼り付けていません。

    Museには、カスタムコネクター用の認証情報を安全な入力経路で登録する仕組みがあります。Museのコネクターに関する公式説明

    7. 認証付きで画像生成まで確認する

    キーを登録した後は、次の一連の動作を確認しました。

    画像

    これで「Museに頼むと、自宅PCのAnimaで生成され、画像が会話に戻ってくる」ところまで動きました。

    そして最初の動作確認で生成したのは猫の画像でした。自宅PCで実際に生成された画像がMuseの会話に表示されたときは、ちゃんとつながったんだなと実感できました。

    普段はどう使うのか

    導入が終わった後、最初に「Comfyを使ってAnimaで生成するためのチャットを作りたい」と言うようにメインチャットに伝えるとそれ専用のチャットを作ってくれるので、そこに投げ込むのがいいと思います。

    そこに例えばこんなふうに頼みます。

    金髪の男の子で、左目の目の下にほくろがある。ウルフヘアで前髪が長い。やや髪の毛が跳ねている。
    黄色い目。スリットアイズ。ピンクのくちびる。ストライプの襟付きのシャツ。ルーズなシルエット。黒のワイドパンツ。
    上半身を中心に描く、寝起きで枕を抱えてベッドに座ってぼんやりしている場面

    プロンプトを見て修正してから生成を頼んだり、出てきた画像を見て次の構図を相談したりできます。

    画像

    私は生成時に使用したプロンプトを表示してもらうことにしました。
    なおここにはクオリティプロンプトやこちらが先に仕込んでおいたプロンプトも入っています。
    いつもこれ入れてるな、っていうものは伝えておくとメモリに入れてくれます。

    私は以下の内容をひとまずメモリに入れておきました。

    固定キャラのプロンプト
    男性用プロンプト
    女性用プロンプト
    基本的なネガティブプロンプト

    それからi2iは出来ませんが、リファレンスして生成もしてもらえます。
    フリー素材の洋服とポージングのXの投稿を見かけたので使ってみました。

    こういうことだね✨
    Muse→Animaなのでもちろんnsfwも全然いけるぞ💗 https://t.co/RrI0DD0GwY pic.twitter.com/fkgfMo6LDK

    — ねむプロ (@nemhiyo) October 30, 2026

    生成されたものを調整したり、ここはこうしたいとか小物を入れたいとか色々と相談しながら進められるのがいいところです。

    なぜMuseを使おうと思ったのか

    そもそもMuseを使い始めた理由には、成人同士の合意を前提とした、成人向け文章の創作にも使えると聞いたため、創作の相談相手としてもどこまで使えるのか気になっていました。

    文章と画像、外部ツールを経由した生成では扱いが異なる場合があるので、実際の利用範囲はそれぞれの条件を確認する前提です。
    成人向け文章全般の許可を、この記事で保証するものではありません。Museコネクターの公式規約

    もう一つの理由は、とても単純です。
    使い切れないほどのクレジットをもらったので、何かに使いたかった。
    せっかくなら普段の創作環境とつないでみようと思ったのですが、生成自体はローカルに投げているため、この感じでは全然使い切れそうにありません。

    もともと使っていたローカル環境

    自宅には、ローカル画像生成の環境がありました。
    ComfyUIを操作するために「COMDY」という自作フロントエンドを使っています。

    そこで既存の生成環境にMuseから依頼を送れるよう、小さな接続プログラムを追加しました。名前は「MuseCon」です(冒頭に突如登場したやつです…)。
    そのため今回は自分専用に作った環境の構築記録になります。

    最終的な接続の流れ

    最終的な接続の流れは、次の形になりました。

    画像
    Museで創作内容を相談
            ↓
    Tailscale経由で自宅PCへ接続
            ↓
    MuseConの認証付きAPI
            ↓
    既存のComfyUI
            ↓
    Animaで画像生成
            ↓
    生成画像をMuseの会話に返す

    画像生成の計算は自宅のGPUが担当します。
    Museには会話、プロンプトの作成、生成依頼、結果の受け取りを担当してもらいます。

    画像生成用のクラウドAPIは使っていません。
    今回使うAPIキーも、自宅のMuseConが発行する専用キーです。

    最初はMuseのブラウザからComfyUIの画面を操作する方法も考えていました。ローカルのブラウザでは、ワークフローを読み込んで画像を生成できるところまで確認できました。
    ところが、今回のMuse側のブラウザはTailscale経由の通信に対応していませんでした。一方、APIへのリクエストは利用できると分かったので、APIで生成を依頼する方式に落ち着きました。

    構想のきっかけになった事例では、MCPやCloudflareも使われていましたが今回実際に動いた構成は、Tailscaleと通常のREST APIの組み合わせです。

    現在の設定と変更できること

    現在のMuseConで会話から変更できるのは、プロンプト、ネガティブプロンプト、シードです。モデルや画像サイズを自由に切り替える機能は、まだ追加していません。

    今の設定は次のとおりです。

    画像

    COMDY(Comfyフロントエンド)とMuseConは、それぞれのワークフローを使います。そのためCOMDYモデルやサイズを変えても、MuseConには自動で反映されません。

    モデル選択に対応させるなら、次はMuseConに使用可能なモデル一覧と変更機能を追加する形になります。
    Anima以外のモデル系統を使う場合はそれぞれに合ったワークフローも必要です。

    使うときに必要な状態と、残っている確認

    使うときには、自宅PC、ComfyUI、MuseCon、Tailscaleが動いている必要があります。
    現時点ではWindows起動時の完全な自動起動までは設定していません。

    また画像生成そのものはローカルでも、Museとの会話や、Museへ返した画像はクラウド側に渡ります。自宅GPUで生成することと、制作内容がすべてPC内だけに収まることは別です。

    アクセス制限についても、通常の通信を絞ったことだけで確認を終えないようにしています。
    例えば同一アカウントの端末間で使えるTaildropには通常のアクセス制御と異なる扱いがあり、この部分の整理は残っています。

    以下余談です。

    この先つなげてみたいもの

    将来的には、開発中の「おはなしレシピ」とも組み合わせてみたいと思っています。
    今考えているのは、Museを直接お話レシピの中に組み込むというより、Museで出してもらった物語の叩き台を、そのままお話レシピへ持ち込む使い方です。

    Museに「こういうジャンルで、方向性の違う案をいくつか出して」と相談すると、単に舞台や登場人物を変えるだけではなく「何が切ないのか」「どこが一番刺さるのか」まで違う案が出てきます。
    そうして作った叩き台から関係性や展開だけでなく、物語を動かしている小さなドラマの部品を取り出してストックしていく。
    おはなしレシピでは、それらを組み合わせて新しい物語の骨格を作ったり、構成や現在地を管理しながら長い話へ育てたりする。そんな役割分担ができたら面白そうです。

    今たくさん使えるAIが、ずっと同じ条件で使えるとは限りません。だから今のうちに完成した物語を量産するだけではなく、あとからローカル環境でも再利用できる「物語の材料」を増やしておきたい。
    Museを、物語を書いてもらう場所としてだけではなく、これから作る物語の材料を集める場所としても使ってみたいと思っています。

    同じように他の自作ツールでBGMや効果音を作ったり、音声生成や動画編集アプリと組み合わせたりする構想もありますが、そこはまだこれからです。既存のツールをそれぞれ単独でも使える状態にして、必要なときにつなぐ形を考えています。

    MuseCon側は普通のAPIにしたので、将来Muse以外のエージェントから呼び出すことも検討できます。Museの会話を中心に使いつつ、生成環境自体は自分の手元に残す構成です。

    色々な目的に使えそうなこれを何に使おう、というところから始めたのですが、気がつけば、自宅の画像生成環境を会話から操作できるようになりました。
    これからがさらに楽しみです!


    あなたへのおすすめ