メインコンテンツへスキップ
見出し画像

日刊 画像生成AI (2022年9月17日)

    画像生成AI界は、今認識できないスピードで進化をし続けています。
    DALL・E2公開、Midjourney公開、StableDiffusionがオープンソースで公開されて..進化の速度が上がり続けており、日々異常なスピードで変化しています。

    画像
    "開放されたマルチバースへの扉"

    そんな中、毎日時間なくて全然情報追えない..!って人のために業界変化、新表現、思考、問題、技術を毎日あらゆるメディアを調べ、まとめています。


    昨日までの投稿はこちら


    開発


    Grokking SD 日本語版

    tomo-makesさんが先週紹介したGrokking Stable DiffusionというStable Diffusionの仕組みをわかりやすくしたcolab notebookを日本語訳されました。めちゃめちゃ最高です。

    Stable Diffusionまるわかり! Colabノートブック

    Grokking SDというノートブックが #stablediffusion の画像生成メカニズム理解にとても良く、日本語訳しました。シルバーウィーク? のお供に!

    仕組みまでコードを実行しつつ理解したい、表現の幅を広げたい人へおすすめです。
    (リンクはリプライ欄へ) pic.twitter.com/2xj7PIK2tG

    — tomo-makes | 技術書典13 『機械学習の炊いたん6。』 (@tomo_makes) September 17, 2022

    基礎編(part1)

    画像

    Textual Inversion編(part2)

    画像


    CHARL-E公開 (Mac用 シンプルなインストーラー)

    自分がMacユーザーなのでインストールして使ってみました。シンプルすぎて細かく設定できる機能もまだないのでこれからかなぁという感じです。ただデザイン性が高いので応援したい。ここまでシンプルなインストーラーのは、Diffusion Bee以来ですね。このクールさを保って大量に機能追加していってほしい。

    画像
    画像


    getimg.ai公開

    Webで利用できるStable Diffusionのサービスが乱立してますね..サービスとして認識してる限り7個くらいありますが、気づかれてないものを含めるともっとありそう。

    画像
    https://www.reddit.com/r/StableDiffusion/comments/xgkj9c/made_yet_another_image_generation_website_try_it/

    利用してみましたが、過去生成物の履歴が見えたりするのはいいですね。
    この戦いは激アツですね..。

    画像


    ClipMatrix

    これは論文自体はNikolay Jetchevさんがかなり前に出されていたようですが、Emadさんがリツイートされていたのでシェア。ClipMatrix を使ってテクスチャ付きの 3D メッシュを作成してくれるというもの。

    "Robot servant in Steampunk"

    text_to_3d generation with ClipMatrix.

    I tried a fancy engine upgrade under the hood - now with CLIP H/14. Looks cool, expressive, and with slight memory cost increase. Thanks to the open model contributors!#aiart #3dart #generativeart https://t.co/iKGEsLZ14b pic.twitter.com/uqNrhRSOIr

    — Nikolay Jetchev (@NJetchev) September 17, 2022

    ClipMatrixの論文はこちら


    研究


    布留川さん(npaka) WebUI, Docker 解説記事

    Stable Diffusionの今最も機能が豊富な実装 WebUI (AUTOMATIC1111)のDocker版「Stable Diffusion WebUI Docker」を使ってWindowsにインストールされています。Colabで毎回やっている方はぜひ。


    Waifu Diffusionかなりすごい..

    いややばいですね..草さんのこの検証かなりレベル高いので要チェックです。
    今まで見た生成されたイラストの中で一番クオリティが高いかもしれないです。

    WaifuDiffusion。拾った呪文を少し変えて適当に回すよ pic.twitter.com/5blBmvKD3c

    — 草 (@MutedGrass) September 16, 2022

    WaifuDiffusion。拾った呪文を少し変えて適当に回すよ pic.twitter.com/0iF7kRXM3p

    — 草 (@MutedGrass) September 16, 2022


    Stable Diffusionにdanbooruデータセットを追加学習する。


    Waifu Diffusion × Textual inversion

    Birdmanさんが開放されたのでメモしておきます。Waifu DiffusionをTextual inversionすると既存のイラストレーターさんのイラストをかなりレベルの高い状態で扱えるというもの。Birdmanさんは高度な検証をとても多くされているので要チェックです。

    ぶっちゃけもう秘匿する意味も無いんだよな
    textual inversionによる画風操作はmimicを凌駕する pic.twitter.com/Ah9f54Hnoy

    — birdMan (@birdMan710Nika) September 17, 2022


    表現


    MidjourneyとDall-E2で作られた立体都市をめぐるWeb

    めちゃめちゃ楽しいのでこのサイト是非見てください。Midjourney を使用して約140、Dall-E 2 を使用して約30のアセットを作られたそうです。いやこれいいな..。ドラッグでこの空間を移動するの楽しすぎる。

    画像


    Fish Pendulum

    img2imgでペンデュラムを魚にしている動画。面白かったのでメモ。

    画像
    https://www.reddit.com/r/StableDiffusion/comments/xftuo9/fish_pendulum/


    AIAnimationセレクト

    良かったAIアニメーションを毎日セレクト。今日はこちら。前半のはかなりレベルが高いです。アニメーションを複数生成して繋げられているらしいです。スタート地点をimg2imgなどで一致させたりされているんでしょうか。
    どんどん制作物のレベルが上がってきていてすごい。

    Day 16 of #SeptembAIr. "Arcade".

    Probably the hardest I've worked on one of these. A full shift at work then 8-9 hours on this and I messed up a keyframe but... It'll have to do cause I need sleep. I might upload a fixed version later.#septembAIr2022 #animation #aianimation pic.twitter.com/S1ed4qlfAW

    — Benjamin Scott-Pye (@benscottpye) September 16, 2022

    Hollywood Ending#ai #animation pic.twitter.com/qN9ydVIUzy

    — Roope Rainisto (@rainisto) September 16, 2022

    Have a nice weekend all.#stablediffusion #blender #aiart pic.twitter.com/lFNCYlY8Oj

    — Infinite Vibes (@Infinite__Vibes) September 16, 2022


    思想・ムーブメント


    Greg Rutkowski の人気は 2 倍になりました。

    Promptとして利用されてる確率が高すぎるGreg Rutkowskiさんの検索率が増えているそうです。今後データとして学習させる派、させない派みたいになってくると思うのですが、思いつきですが逆に学習させることで知名度を上げる..という方法もあるのかもしれません。

    画像
    https://www.reddit.com/r/StableDiffusion/comments/xgn66f/greg_rutkowski_is_now_twice_as_popular_i_wonder/


    『We live in a society』

    切ないイラストですね。Redditで昨日トップを飾っていたのでメモ。個人的にはAIを駆使してさらに強化されたイラストレーターがガンガン出てくると思っているので、こんなことにはなるのはもう少し先の話な気がしています。ただ、変化できないとこうなってしまいそうですね。

    画像


    DALL・Eの生成物を手書きに

    アートブックにして販売したり、コンペに出したり、漫画にして販売したり、あらゆるこの事例はHandpaintingと書かれていたのでおそらく生成物から手書きしているかと思われます。

    画像
    画像
    画像
    画像
    https://www.reddit.com/r/dalle2/comments/xgk3v3/handpainting_my_dalle_prompts/


    勉強


    注釈付きでモデルコードを見る。

    Implementation/tutorial of stable diffusion with side-by-side notes

    📝 Code & notes: https://t.co/OciQ4HPPlt
    🖥 Github: https://t.co/1GinfhSGeV

    It has annotated model code; DDIM and DDPM sampling; and scripts to generate and in-paint.

    🧶👇 pic.twitter.com/Sd6otejt5o

    — labml.ai (@labmlai) September 17, 2022


    Vision Transformer入門執筆の背景と書評


    DDIMのわかりやすい解説, Annotation / PyTorch code

    tomo-makesさんが紹介されていたのでシェア。


    Stable Diffusionの構造

    これもtomo-makesさん。

    Stable Diffusion (やLatent Diffusion)、モデルの構造としてはこういうことだと思うのだけど、イマイチCLIPを通したあとの入力へのconcat、U-Netへのcross attention層追加のところがわからない。コードちゃんと読みたい。 #stablediffusion #imagesythesis pic.twitter.com/ijogqCVL4l

    — tomo-makes | 技術書典13 『機械学習の炊いたん6。』 (@tomo_makes) September 17, 2022


    『Tensorflowは使われたい!(3)』

    まっくすさんが仕組み解説を分かりやすく書かれたものを技術書展で出されていたのですがネットで既に販売されていたようです。
    買ってみました。読むのが楽しみです。

    技術書典13で新刊「Tensorflowは使われたい!!(3)」のオンライン販売を開始しました!以前の漫画に流行りの「文章からイラストを生成するAI」の初学者向け仕組み解説をつけています(全50p)。明日のオフラインでも紙の本の販売をするので是非に〜#技術書典 #技術書典13https://t.co/5wzkagaUIG pic.twitter.com/G6aag68LN6

    — まっくす (@minux302) September 10, 2022


    『機械学習の吹いたん』

    あとこちらも。深層学習、GAN、画像生成の歴史から、SDの原理まで書かれているそうです。こちらも買いました。tomo-makesさんが僕のことや、この日刊のことをmust readとして紹介してくださっているそうです。嬉しい。

    画像


    最後に


    Twitterに、毎日製作したものや、最新情報、検証を載せたりしています。
    よかったらフォローしてくれると喜びます。

    https://twitter.com/Yamkaz


    前回の号はこちら

    次の号はこちら


    あなたへのおすすめ