メインコンテンツへスキップ
見出し画像

iPhoneやiPadでインペインティング!?現実から虚構を生み出す新機能を実装

    StableDiffusionやDALL-E2が話題になり始めた頃から、Inpainting(インペインティング)が話題になりました。

    インペインティングというのは、簡単に言うと、画像の一部を指定して指示文プロンプトを与えて修正することです。

    ただ、インペインティングを試すには、Google Colabでの難しい操作や、GPU入りのマシンが必要でした。

    そこでMemeplexミームプレックスでは、インペインティングをブラウザだけでできるようにしてみました。

    あまりにもできることの幅が広がってしまい、収拾がつかなくなる恐れがあるので、今の所ユーザーレベル2以降の方に向けてβテスト中ですが、近いうちに全ユーザーに解放するようにしたいと思っています。

    インペインティングを使うとどうなるのか。実際に買ったばかりのiPhone14 Pro Maxでやってみます(でもiOS16が入っていればどれでもできます)。

    まず、写真を撮ります。季節柄、ハロウィンの定番キャラクター、ジャック・オ・ランタンを選んでみました。なんでもOKです。

    画像

    iOS16で写真を撮って、対象物を長押しすると綺麗にくり抜いてくれます。
    次に、Memeplexで適当に山の絵を描いて、個別ページでインペインティングを選びます。

    画像
    現在はユーザーレベル2以上だと右端にインペインティングのボタンが出ます

    インペインティングで長押しして「ペースト」を選ぶと、さっきコピーしたキャラクターを貼り付けることができます。

    画像
    ジャック・オ・ランタンの雑コラができた

    貼り付けてから、修正したい部分を指で指定します。
    これはかなりざっくりした指定になります。

    画像
    指定したところは赤くなります

    その後、「送信」を選ぶとクリエイトモードになります。
    そこでたとえば「ロボット」のような言葉を与えると、こんな絵が出てきます。

    画像

    指定した部分がロボットになりましたね。
    これはジャック・オ・ランタンが大きすぎたので小さくしてもっと欲しいものを描いてみたいと思います。

    まずこんな感じから。

    画像
    違和感しかない雑コラ感

    ビーチにジャック・オ・ランタン。意味不明な組み合わせですが、とりあえずカップルを消しましょう。カップルを消して、ジャック・オ・ランタンを頭に被った女性を出現させてみます。

    画像
    カップルが消えて女性の体が出現した

    カップルのところを赤くマークして、「body of woman」と加えただけです。なのでカップルのいたはずのところがちょっと不自然になってますね。

    これ全体をインペインティング対象にして、ジャック・オ・ランタンも写真ママではなくAIにリライトさせます。

    画像
    これはこれで面白いからアリ

    すると、なんとも邪悪な魔女っぽいのが出てきました。
    おしおきだんべー、という感じです。

    顔が怖いので、ジャック・オ・ランタンと体の部分を選んで「笑う」という言葉を与えてみるとこうなりました。

    画像
    怖い

    やばい。アルカイック・スマイルな女性がでてきてしまいました。完全に別物です。

    下半分と顔を選んでさらに修正するとこんな感じになりました。

    画像
    なんかこういう占い師は世界のどこかにいるかもしれない

    こんな感じで、きっかけは実写の写真なのですが、うまく使うことで創作のきっかけを掴むことができます。

    ちなみにインペインティングは写真とか使わなくても普通に画像の修正にも使えます。

    画像

    こんな感じの絵の背景部分だけを選択します。

    画像
    雑な指定でOK

    それから言葉を与えます。たとえば「ロンドン」

    画像
    ロンドンになりました

    あれはまさしくビッグベン。
    まさにロンドンになったと言えるでしょう。

    たとえば「古代エジプト」

    画像
    ヒエログリフ感

    たとえば京都

    画像
    背景にお寺っぽいものが

    こんな感じで一度描いた絵を何度も再利用できます。
    また、イラストをループバックしたりインペインティングしたりすることで違った表現も得ることができます。

    画像
    シンプルすぎるイラスト

    こういうシンプルなイラストを入力して、ループバックで「かわいいクマのイラスト」と入力すると

    画像
    こんな感じになったり
    画像
    こんな感じになったりします

    使い方の工夫次第でさらにできることが広がるのではないかと思います。
    では、Enjoy

     

    shi3z

     
     
    さすらいのプログラマー 知能と生命の研究者