メインコンテンツへスキップ
見出し画像

画像生成AIの進化史㉑Stable Diffusion, DALL·E, Imagen, Midjourneyの比較

    前回は、Stable Diffusionを取り上げました。

    この「画像生成AIの進化史」シリーズでは、データの確率分布を学習し、そこからサンプリングをすることで画像を生成するモデルを「画像生成AI」と称し、歴史的な流れに沿って追ってきました。

    それにしても近年のAIの進化・変化は激しく、数年前まではGANやVAEが画像生成の主流でしたが、現在は以下のような拡散モデルが代表的です。

    今回は、これらのモデルを比較し、現在の生成AIの全体像を振ります。

    モデルの比較について

    前回学んだStable Diffusionをベースに、他の代表的なモデルを比較していきます。ただし、その前に画像生成モデルを見比べるときに意識しておきたい視点を整理しておきます。

    オープン性と利用形態

    モデルが誰でも使えるオープンソースなのか、API提供のみなのか、あるいは研究用途に限定されているのか。公開範囲はモデルの使いやすさや応用範囲を左右する大きな要素です。

    Stable Diffusion 3のライセンスの不明確さのように、不人気の原因となった例もあります。

    モデルの構造と技術的特徴

    モデルのベースとなる技術やアーキテクチャも重要な比較ポイントです。潜在拡散型かどうか、テキストエンコーダとの組み合わせ、解像度の扱い方など。

    ただし、非公開のモデルも多いため、推測に頼るしかない場合もあります。

    生成画像の特徴とユースケース

    どんな画像が得意なのか、写実寄りかアート寄りか、という特徴でも比較できます。

    また、テキストプロンプト、画像入力、修正・編集など、どのように指示できるかといった条件付け・入力の工夫などでも比較できます。

    これらの特徴によって、どんなユーザー層がどんな目的(活用シーン)で使うのかが変わってきます。


    以上の3点を軸に、各モデルを見ていきます。まずは、シリーズの基盤ともいえるStable Diffusionから始めます。

    Stable Diffusion

    Stable Diffusionの1番の特徴は、クオリティの高い画像生成ができるだけでなく、「オープンに公開された」ことです。

    オープン性と利用形態

    Stable Diffusionは、初期からモデルの重みが公開され、ユーザーがローカル環境で自由に動かすことができる点が大きな特徴です。

    モデルサイズも比較的コンパクトで、一般的なGPU環境でも扱いやすく、LoRA(Low-Rank Adaptation)やDreamBoothなどの追加学習や改造も盛んに行われました。

    コミュニティによる派生モデルやツールも数多く誕生し、バージョンは1.x、2.x、そして特に人気の高いXLへと進化しました。これらのモデルはResponsible‑AI‑ライセンス(RAIL)に基づき、不適切な用途(犯罪、差別、医療助言など)を制限しつつも、商用利用しやすい環境が整っていました。

    DreamBoothは、Google発の追加学習技術(論文)で、少数の画像から新しい概念(個人の顔や特定のオブジェクトなど)を学習させ、オリジナルの画像生成を可能にします。ただし、アーティストのスタイル模倣など倫理的・法的な懸念が伴う点にも注意が必要です。

    しかし、Stable Diffusion 3(SD3)以降では状況は変わりました。

    Diffusion Transformerの導入などでモデルが大幅に刷新され、高品質・高解像度の画像生成が可能になりました。その分モデルサイズが拡大し、大きめのGPUメモリが推奨されるなどハードルが上がりましたが、現在も重みの公開やローカル実行は可能です。

    個人や小規模事業者向けにはコミュニティライセンスで無料商用利用も許可されていますが、大規模な商用利用ではエンタープライズライセンスが必要です。

    リリース初期には制約が増えたことで不満もありましたが、ライセンスはその後改訂され、比較的オープンな形に戻っています。あわせてAPI経由での利用も整備され、選択肢が広がっています。

    なお、著作権や安全性への懸念は引き続き重要なテーマであり、現在もGetty ImagesとStability AIの間で、訓練データとしての画像使用を巡る訴訟が進行中です。Stability AI側は「公正な利用(Fair Use)にあたり、著作権侵害にはあたらない」と主張しており、判決の行方が注目されています。

    モデルの構造と技術的特徴

    Stable DiffusionはLDM(Latent Diffusion Model)をベースとしています。拡散過程を潜在空間で行うことで計算を大幅に軽量化しています。生成は潜在空間で行い、最後に画像空間へデコードするアプローチです。中核にはU-Netベースのアーキテクチャを用い、テキストエンコーダにはCLIPなどを活用しています。

    SD3では複数のテキストエンコーダ(T5などの大規模言語モデルを含む)をサポートし、より長文の指示や複雑な意図を反映した画像生成が可能になりました。

    生成画像の特徴とユースケース

    Stable Diffusionは、写真風の画像からアート寄りの表現まで幅広く対応できます。テキストプロンプトだけでなく、画像を元にした変換(img2img)、部分修正(inpainting)などの編集機能も豊富です。これにより、個人クリエイター、研究者、商用開発者など多様なユーザーが活用してきました。

    DALL·E 2 / DALL·E 3

    OpenAIが開発したDALL·Eシリーズは、テキストから高品質な画像を生成する代表的なモデル群です。特にDALL·E 2で一気に注目を集め、DALL·E 3では文章との整合性や表現力がさらに向上しました。

    なお、シリーズ初期のDALL·E 1では、VAEの派生モデルであるVQ-VAE(Vector Quantized Variational Autoencoder)をベースにしたアプローチが使われていました。エンコーダが画像を潜在トークンに変換し、Transformerがそのトークンとテキストのトークンを組み合わせて同時にモデル化する手法です。しかし、生成される画像は粗く、リアリティに欠けるという課題がありました。

    オープン性と利用形態

    DALL·EはStable Diffusionとは異なり、完全にオープンではありません。モデルの重みは公開されておらず、基本的にはWebサービスやAPI経由で利用する必要があります。

    DALL·E 2では当初、限られたユーザー向けの招待制で提供され、その後APIとして広く開放されました。DALL·E 3ではさらにChatGPTなどOpenAIのプラットフォームと統合され、対話形式でテキスト入力から直接画像を生成できるようになっています。

    商用利用もライセンス条件の範囲内で可能ですが、出力には著作権や安全性に関するガイドラインが設けられており、不適切な生成を防ぐフィルターも搭載されています。詳しくはこちらで確認してください。

    モデルの構造と技術的特徴

    詳細なアーキテクチャは非公開ですが、CLIP系のテキストエンコーダと拡散モデルの組み合わせがベースとなっています。CLIPはOpenAIが開発したモデルで、テキストと画像を同じ潜在空間にマッピングする能力があります。

    DALL·E 2の論文には次のように述べられています。

    拡散モデル[25, 48]を使用して、CLIP画像埋め込み(およびオプションでキャプション、画像を説明するテキスト)を条件とした画像を生成します。

    We use diffusion models [25, 48] to produce images conditioned on CLIP image embeddings (and optionally text captions).

    DALL·E 3(論文)は、より大規模な言語モデル(GPT-4)と統合され、プロンプトの解釈精度が高まりました。長文や曖昧な指示でも意図を反映した画像を生成しやすくなっています。

    生成画像の特徴とユースケース

    DALL·E 3は高品質な画像が生成できる上に、ChatGPTとの連携により、対話的に画像を改善することが可能です。

    画像
    DALL·E3の論文より

    こうした利便性の高さから、ユーザー層はビジネス利用やクリエイティブ業務が中心と考えられます。マーケティング素材や広告、企画資料など、非エンジニアでも簡単に使える点が大きな強みです。

    Imagen

    Google(DeepMind)が開発したImagenは、テキストから高品質な画像を生成するモデルです。Imagen 3の論文はこちらです。

    オープン性と利用形態

    Imagenモデルの重みやコードは一般には配布されていません。画像生成APIを通して利用することが可能です。現状は、Imagen 3.0と4.0がサポートされています。

    モデルの構造と技術的特徴

    Imagen 1の論文「Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding」には次のように書かれています。

    我々は、かつてないほどのフォトリアリズムと深い言語理解を備えた「テキストから画像への」拡散モデルであるImagenを発表します。Imagenは、テキスト理解において大規模変換言語モデルの威力を活用し、高忠実度画像生成においては拡散モデルの強みを活かしています。重要な発見は、テキストのみのコーパスで事前学習された汎用的な大規模言語モデル(例:T5)が、画像合成のためのテキストエンコーディングに驚くほど効果的であるということです。Imagenの言語モデルのサイズを大きくすると、画像拡散モデルのサイズを大きくした場合よりも、サンプル忠実度と画像とテキストのアライメントの両方が大幅に向上します。

    We present Imagen, a text-to-image diffusion model with an unprecedented degree of photorealism and a deep level of language understanding. Imagen builds on the power of large transformer language models in understanding text and hinges on the strength of diffusion models in high-fidelity image generation. Our key discovery is that generic large language models (e.g. T5), pretrained on text-only corpora, are surprisingly effective at encoding text for image synthesis: increasing the size of the language model in Imagen boosts both sample fidelity and image-text alignment much more than increasing the size of the image diffusion model.

    https://arxiv.org/pdf/2205.11487

    ここから読み取れるのは、CLIPではなくGoogleの大規模言語モデルT5をテキストエンコーダとした拡散モデルということです。また、言語モデルを大きくすると生成画像がプロンプトに忠実になる度合いが、拡散モデルのサイズを大きくするよりも大幅に向上したとのことで、テキストエンコーダの重要性を物語っています。

    生成画像の特徴とユースケース

    Geminiで画像生成機能が提供されており、ユーザーはテキストプロンプトを入力することで高品質な画像を生成できます。

    画像
    論文「Imagen 3」より

    よって、OpenAIのDALL·E 2 / DALL·E 3と似たような用途で使われることが想定されます。

    Midjourney

    Midjourneyは、アメリカ・サンフランシスコを拠点とする独立系のAI研究チーム(Midjourney, Inc.)によって開発された画像生成モデルです。代表はLeap Motionの共同設立者でありNASAの研究者経験もあるデイヴィッド・ホルツ氏で、少人数の精鋭チームが開発・運営しています。

    ちょっと話はそれますが、アドバイザーの中にJim Kellerがいます。彼は半導体業界で伝説的なエンジニアで、Apple、AMD、インテル、テスラなどで半導体チップの設計や開発に関わってきました。

    現在は、スタートアップ企業TenstorrentのCEOを務めており、RISC-VプロセッサやAIチップの開発に関わっています。最近では、日本の次世代半導体製造企業であるRapidusと提携し、2nm世代のAIアクセラレータの開発・製造を進めることを発表しました。

    オープン性と利用形態

    Midjourneyは完全非公開であり、モデルの重みや詳細なコードは一般公開されていません。利用は専用のDiscordサーバーやWebインターフェースを通じて行われ、有料のサブスクリプションモデルを採用しています。

    日本語のサイトもあり、登録方法や料金プランなどの詳細があります。

    モデルの構造と技術的特徴

    Midjourneyの内部構造は非公開ですが、拡散モデルのアプローチをベースに独自のチューニングを施していると考えられます。

    推測の域を出ませんが、現状最先端の拡散モデル以外は考えにくいです。

    また、テキストエンコーダに何を使っているのかも不明確です。おそらく、CLIP、T5といったところか、もしかしたらオープンな大規模言語モデル(Llamaなど)を使っているのかもしれませんが、断言できません。

    生成画像の特徴とユースケース

    特に「スタイル」「雰囲気」「色彩表現」に特徴があり、写実性よりも芸術性・独創性を重視した生成結果が多いのが特徴です。

    Midjourney Explorerでさまざまなサンプルを閲覧できます。また、こちらのMedium記事にMidjourneyによる生成画像のサンプルがあります。

    ユーザーはDiscordサーバー内の特定のチャンネルで、スラッシュコマンド(例: /imagine)を使ってプロンプトを入力します。

    • 生成された画像は、通常、複数のユーザーが見る公開チャンネルに表示されます。これにより、他のユーザーの作品やプロンプトを見ることができ、新しいアイデアやテクニックを学ぶことができます。

    • これは、個人のワークスペースで完結する他のAIとは異なり、共創的で、発見的な体験を生み出します。

    コミュニティが活発であり、ユーザー層はアーティスト、デザイナー、クリエイターが中心だと考られます。

    まとめ

    ここまで見てきたStable Diffusion、DALL·E、Imagen、そしてMidjourneyはいずれも、テキストから画像を生成するという共通の目的を持ちながら、それぞれ異なる進化を遂げてきたのが比較するとよくわかります。

    技術的な構造としては、「テキストエンコーダ+拡散モデル」という組み合わせが主流です。テキストを意味空間に変換し、その情報を条件として拡散過程で画像を生成するという流れは、多くの最新モデルに共通しています。

    Midjourneyについては詳細が公開されていませんが、同様の拡散型アプローチである可能性が高いと見られます。

    しかし、オープン性と利用形態には大きな差があります。Stable Diffusionは初期からオープンソースとして重みを公開し、誰もがローカル環境で改造や追加学習を行える点でコミュニティ主導の発展を遂げました。

    DALL·E、Imagen、Midjourneyはクローズドです。ただし、DALL·EとImagenは、チャットやAPIを通じて利用する形が中心です。Midjourneyは、専用のサービス環境で共同体験するスタイルを取っています。

    このような背景から、対象ユーザーやコミュニティの性質も微妙に異なります。Stable Diffusionはエンジニア、研究者、個人クリエイターなど幅広く、実験やカスタマイズを好む層に支持されています。DALL·EとImagenはビジネスやクリエイティブ業務を意識し、非エンジニアでも扱いやすいサービス設計が特徴です。Midjourneyはアーティストやデザイナーなど、「表現」や「スタイル」を重視する層に特化したコミュニティが形成されています。

    つまり、「同じ技術の大枠を共有しながら、誰に何を届けたいか」という方向性の違いが、それぞれの個性を形作っていると言えます。


    本シリーズ「画像生成AIの進化史」は、「生成モデルとは」から始まり、混合ガウスモデル、ボルツマンマシン、GANやVAE、拡散モデルを経て現在の代表的な生成モデルに至るまでの流れを追ってきました。

    今回の比較を通じて見えてきたのは、技術の成熟に伴い、その使われ方や開発者・利用者のコミュニティが多様化しているという事実です。

    もちろん、生成AIはこれからも進化し続けるでしょう。しかし、その進化を支えるのは、技術だけでなく、「誰が、どのように活用するか」という人と社会の視点の比重が大きくなっていくことでしょう。

    (終わり)

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ