
stable diffusionでオリジナルキャラを作ってバナー画像に載せる
はじめに
noteの記事のバナー画像はnano bananaに書かせていますが、写真風の画像はともかくイラストになると不満があります。
それは絵柄がよく見かけるAIで生成したなって分かるタッチの画像になることです。

nano bananaに色々指示を出せば絵柄も変わるのでしょうが、そこは専用のAIを使うほうが好みのものができると思い、stable diffusionをローカルに入れてバナー画像を作ってみました。
やってみたかったのは「ハクメイとミコチ」風のキャラだったのですが、stable diffusionを扱うのが初めてだったこともあるので、程々のところで見切りをつけています。
ツールのインストール
stable diffusion
最初にstable diffusionをインストールします。
Stability Matrixを使うのが楽らしいのですが、技術ブログとしては面白くないのと、自分の環境がRadeon RX 6600 XTとRyzen 5 5600Xという構成で一般的でないことから似た構成を持つ方向けにコンパイルでの手順で進めています。
1.最初にPython と Git をインストールします。
2.Stable Diffusion WebUI Forge のソースをGitHubからcloneします。
git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git3.cloneしたソースの中にあるwebui-user.batのCOMMANDLINE_ARGSを以下のように書き換えます。
この設定はRadeon用かつ汎用でもない可能性があるので、実行する前にAIに確認すると良いです。
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS=--directml --skip-torch-cuda-test --precision full --no-half --always-offload-from-vram4.コマンドプロンプトからwebui-user.batを実行します。
なお途中でエラーになり止まります。参考までに実行ログを以下に載せます。(パスは変更しています)
>git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git
Cloning into 'stable-diffusion-webui-forge'...
remote: Enumerating objects: 41984, done.
remote: Total 41984 (delta 0), reused 0 (delta 0), pack-reused 41984 (from 1)
Receiving objects: 100% (41984/41984), 46.41 MiB | 1.10 MiB/s, done.
Resolving deltas: 100% (29090/29090), done.
.\stable-diffusion-webui-forge>webui-user.bat
'".\stable-diffusion-webui-forge\venv\Scripts\activate.bat"' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。
venv ".\stable-diffusion-webui-forge\venv\Scripts\Python.exe"
Python 3.10.6 (tags/v3.10.6:9c7b4bd, Aug 1 2022, 21:53:49) [MSC v.1932 64 bit (AMD64)]
Version: f2.0.1v1.10.1-previous-669-gdfdcbab6
Commit hash: dfdcbab685e57677014f05a3309b48cc87383167
Installing torch and torchvision
Looking in indexes: https://pypi.org/simple, https://download.pytorch.org/whl/cu121
Collecting torch==2.3.1
Downloading https://download.pytorch.org/whl/cu121/torch-2.3.1%2Bcu121-cp310-cp310-win_amd64.whl (2423.5 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 2.4/2.4 GB 787.3 kB/s eta 0:00:00
WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ReadTimeoutError("HTTPSConnectionPool(host='pypi.org', port=443): Read timed out. (read timeout=15)")': /simple/torchvision/
Collecting torchvision==0.18.1
Downloading https://download-r2.pytorch.org/whl/cu121/torchvision-0.18.1%2Bcu121-cp310-cp310-win_amd64.whl (5.7 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 5.7/5.7 MB 1.2 MB/s eta 0:00:00
Collecting networkx
Downloading networkx-3.4.2-py3-none-any.whl (1.7 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1.7/1.7 MB 1.2 MB/s eta 0:00:00
Collecting typing-extensions>=4.8.0
Downloading https://download.pytorch.org/whl/typing_extensions-4.15.0-py3-none-any.whl (44 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 44.6/44.6 kB 1.1 MB/s eta 0:00:00
Collecting filelock
Downloading filelock-3.25.2-py3-none-any.whl (26 kB)
Collecting jinja2
Downloading https://download.pytorch.org/whl/jinja2-3.1.6-py3-none-any.whl (134 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 134.9/134.9 kB 1.1 MB/s eta 0:00:00
Collecting fsspec
Downloading fsspec-2026.3.0-py3-none-any.whl (202 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 202.6/202.6 kB 1.1 MB/s eta 0:00:00
Collecting mkl<=2021.4.0,>=2021.1.1
Downloading mkl-2021.4.0-py2.py3-none-win_amd64.whl (228.5 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 228.5/228.5 MB 1.1 MB/s eta 0:00:00
Collecting sympy
Downloading sympy-1.14.0-py3-none-any.whl (6.3 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 6.3/6.3 MB 1.1 MB/s eta 0:00:00
Collecting numpy
Downloading numpy-2.2.6-cp310-cp310-win_amd64.whl (12.9 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 12.9/12.9 MB 1.2 MB/s eta 0:00:00
Collecting pillow!=8.3.*,>=5.3.0
Downloading pillow-12.2.0-cp310-cp310-win_amd64.whl (7.1 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 7.1/7.1 MB 750.7 kB/s eta 0:00:00
Collecting intel-openmp==2021.*
Downloading https://download.pytorch.org/whl/intel_openmp-2021.4.0-py2.py3-none-win_amd64.whl (3.5 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 3.5/3.5 MB 1.1 MB/s eta 0:00:00
Collecting tbb==2021.*
Downloading tbb-2021.13.1-py3-none-win_amd64.whl (286 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 286.9/286.9 kB 931.5 kB/s eta 0:00:00
Collecting MarkupSafe>=2.0
Downloading https://download.pytorch.org/whl/markupsafe-3.0.3-cp310-cp310-win_amd64.whl (15 kB)
Collecting mpmath<1.4,>=1.1.0
Downloading mpmath-1.3.0-py3-none-any.whl (536 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 536.2/536.2 kB 1.2 MB/s eta 0:00:00
Installing collected packages: tbb, mpmath, intel-openmp, typing-extensions, sympy, pillow, numpy, networkx, mkl, MarkupSafe, fsspec, filelock, jinja2, torch, torchvision
Successfully installed MarkupSafe-3.0.3 filelock-3.25.2 fsspec-2026.3.0 intel-openmp-2021.4.0 jinja2-3.1.6 mkl-2021.4.0 mpmath-1.3.0 networkx-3.4.2 numpy-2.2.6 pillow-12.2.0 sympy-1.14.0 tbb-2021.13.1 torch-2.3.1+cu121 torchvision-0.18.1+cu121 typing-extensions-4.15.0
Installing clip
Installing open_clip
Cloning assets into .\stable-diffusion-webui-forge\repositories\stable-diffusion-webui-assets...
Cloning into '.\stable-diffusion-webui-forge\repositories\stable-diffusion-webui-assets'...
remote: Enumerating objects: 20, done.
remote: Counting objects: 100% (20/20), done.
remote: Compressing objects: 100% (18/18), done.
remote: Total 20 (delta 0), reused 20 (delta 0), pack-reused 0 (from 0)
Receiving objects: 100% (20/20), 132.70 KiB | 1.18 MiB/s, done.
Cloning huggingface_guess into .\stable-diffusion-webui-forge\repositories\huggingface_guess...
Cloning into '.\stable-diffusion-webui-forge\repositories\huggingface_guess'...
remote: Enumerating objects: 51, done.
remote: Counting objects: 100% (51/51), done.
remote: Compressing objects: 100% (39/39), done.
remote: Total 51 (delta 29), reused 32 (delta 12), pack-reused 0 (from 0)
Receiving objects: 100% (51/51), 37.50 KiB | 1.34 MiB/s, done.
Resolving deltas: 100% (29/29), done.
Cloning BLIP into .\stable-diffusion-webui-forge\repositories\BLIP...
Cloning into '.\stable-diffusion-webui-forge\repositories\BLIP'...
remote: Enumerating objects: 283, done.
remote: Counting objects: 100% (3/3), done.
remote: Compressing objects: 100% (2/2), done.
remote: Total 283 (delta 1), reused 1 (delta 1), pack-reused 280 (from 2)
Receiving objects: 100% (283/283), 7.16 MiB | 1.11 MiB/s, done.
Resolving deltas: 100% (152/152), done.
Installing requirements
Installing forge_legacy_preprocessor requirement: fvcore
Installing forge_legacy_preprocessor requirement: mediapipe
Installing forge_legacy_preprocessor requirement: onnxruntime
Installing forge_legacy_preprocessor requirement: svglib
Installing forge_legacy_preprocessor requirement: insightface
Installing forge_legacy_preprocessor requirement: handrefinerportable
Installing forge_legacy_preprocessor requirement: depth_anything
Installing forge_legacy_preprocessor requirement: depth_anything_v2
Launching Web UI with arguments: --directml --skip-torch-cuda-test --precision full --no-half --always-offload-from-vram
A module that was compiled using NumPy 1.x cannot be run in
NumPy 2.2.6 as it may crash. To support both 1.x and 2.x
versions of NumPy, modules must be compiled with NumPy 2.0.
Some module may need to rebuild instead e.g. with 'pybind11>=2.12'.
If you are a user of the module, the easiest solution will be to
downgrade to 'numpy<2' or try to upgrade the affected module.
We expect that some modules will need time to support NumPy 2.
Traceback (most recent call last): File ".\stable-diffusion-webui-forge\launch.py", line 54, in <module>
main()
File ".\stable-diffusion-webui-forge\launch.py", line 50, in main
start()
File ".\stable-diffusion-webui-forge\modules\launch_utils.py", line 546, in start
import webui
File ".\stable-diffusion-webui-forge\webui.py", line 21, in <module>
initialize_forge()
File ".\stable-diffusion-webui-forge\modules_forge\initialization.py", line 58, in initialize_forge
from backend import memory_management
File ".\stable-diffusion-webui-forge\backend\memory_management.py", line 10, in <module>
from backend import stream, utils
File ".\stable-diffusion-webui-forge\backend\utils.py", line 1, in <module>
import gguf
File ".\stable-diffusion-webui-forge\packages_3rdparty\gguf\__init__.py", line 3, in <module>
from .gguf_reader import *
File ".\stable-diffusion-webui-forge\packages_3rdparty\gguf\gguf_reader.py", line 15, in <module>
from .quants import quant_shape_to_byte_shape
File ".\stable-diffusion-webui-forge\packages_3rdparty\gguf\quants.py", line 11, in <module>
from .quick_4bits_ops import change_4bits_order, quick_unpack_4bits, quick_unpack_4bits_u
File ".\stable-diffusion-webui-forge\packages_3rdparty\gguf\quick_4bits_ops.py", line 31, in <module>
native_4bits_lookup_table = native_unpack_4x4bits_in_1x16bits_to_4x8bits_in_1x32bits(torch.arange(start=0, end=256*256, dtype=torch.long).to(torch.uint16))[:, 0]
.\stable-diffusion-webui-forge\packages_3rdparty\gguf\quick_4bits_ops.py:31: UserWarning: Failed to initialize NumPy: _ARRAY_API not found (Triggered internally at ..\torch\csrc\utils\tensor_numpy.cpp:84.)
native_4bits_lookup_table = native_unpack_4x4bits_in_1x16bits_to_4x8bits_in_1x32bits(torch.arange(start=0, end=256*256, dtype=torch.long).to(torch.uint16))[:, 0]
Traceback (most recent call last):
File ".\stable-diffusion-webui-forge\launch.py", line 54, in <module>
main()
File ".\stable-diffusion-webui-forge\launch.py", line 50, in main
start()
File ".\stable-diffusion-webui-forge\modules\launch_utils.py", line 546, in start
import webui
File ".\stable-diffusion-webui-forge\webui.py", line 21, in <module>
initialize_forge()
File ".\stable-diffusion-webui-forge\modules_forge\initialization.py", line 58, in initialize_forge
from backend import memory_management
File ".\stable-diffusion-webui-forge\backend\memory_management.py", line 48, in <module>
import torch_directml
ModuleNotFoundError: No module named 'torch_directml'
続行するには何かキーを押してください . . .
5.エラーはツールがうまくインストールできなかったためで、対処として手動で4つのツールをインストールします。
自分の環境ではインストール不要だったもの(すでにインストール済)もありますが、再実行してもインストール済であればスキップしてくれるので、記載はしておきます。またツールによっては一部エラーログが出ますが、インストール自体はSuccessfullyになります。
.\stable-diffusion-webui-forge\venv\Scripts\python.exe -m pip install setuptools==69.5.1
.\stable-diffusion-webui-forge\venv\Scripts\python.exe -m pip install git+https://github.com/openai/CLIP.git --prefer-binary
.\stable-diffusion-webui-forge\venv\Scripts\python.exe -m pip install "numpy<2"
.\stable-diffusion-webui-forge\venv\Scripts\python.exe -m pip install torch-directmlこちらもエラーログの参考用にログを以下に載せます。
.\stable-diffusion-webui-forge>.\stable-diffusion-webui-forge\venv\Scripts\python.exe -m pip install setuptools==69.5.1
Requirement already satisfied: setuptools==69.5.1 in .\stable-diffusion-webui-forge\venv\lib\site-packages (69.5.1)
.\stable-diffusion-webui-forge>.\stable-diffusion-webui-forge\venv\Scripts\python.exe -m pip install git+https://github.com/openai/CLIP.git --prefer-binary
Collecting git+https://github.com/openai/CLIP.git
Cloning https://github.com/openai/CLIP.git to .\pip-req-build-p1izr7cg
Running command git clone --filter=blob:none --quiet https://github.com/openai/CLIP.git '.\pip-req-build-p1izr7cg'
Resolved https://github.com/openai/CLIP.git to commit d05afc436d78f1c48dc0dbf8e5980a9d471f35f6
Preparing metadata (setup.py) ... done
Requirement already satisfied: ftfy in .\stable-diffusion-webui-forge\venv\lib\site-packages (from clip==1.0) (6.3.1)
Requirement already satisfied: packaging in .\stable-diffusion-webui-forge\venv\lib\site-packages (from clip==1.0) (26.0)
Requirement already satisfied: regex in .\stable-diffusion-webui-forge\venv\lib\site-packages (from clip==1.0) (2026.4.4)
Requirement already satisfied: tqdm in .\stable-diffusion-webui-forge\venv\lib\site-packages (from clip==1.0) (4.66.1)
Requirement already satisfied: torch in .\stable-diffusion-webui-forge\venv\lib\site-packages (from clip==1.0) (2.3.1+cu121)
Requirement already satisfied: torchvision in .\stable-diffusion-webui-forge\venv\lib\site-packages (from clip==1.0) (0.18.1+cu121)
Requirement already satisfied: wcwidth in .\stable-diffusion-webui-forge\venv\lib\site-packages (from ftfy->clip==1.0) (0.6.0)
Requirement already satisfied: jinja2 in .\stable-diffusion-webui-forge\venv\lib\site-packages (from torch->clip==1.0) (3.1.6)
Requirement already satisfied: sympy in .\stable-diffusion-webui-forge\venv\lib\site-packages (from torch->clip==1.0) (1.14.0)
Requirement already satisfied: mkl<=2021.4.0,>=2021.1.1 in .\stable-diffusion-webui-forge\venv\lib\site-packages (from torch->clip==1.0) (2021.4.0)
Requirement already satisfied: typing-extensions>=4.8.0 in .\stable-diffusion-webui-forge\venv\lib\site-packages (from torch->clip==1.0) (4.15.0)
Requirement already satisfied: filelock in .\stable-diffusion-webui-forge\venv\lib\site-packages (from torch->clip==1.0) (3.25.2)
Requirement already satisfied: networkx in .\stable-diffusion-webui-forge\venv\lib\site-packages (from torch->clip==1.0) (3.4.2)
Requirement already satisfied: fsspec in .\stable-diffusion-webui-forge\venv\lib\site-packages (from torch->clip==1.0) (2026.3.0)
Requirement already satisfied: numpy in .\stable-diffusion-webui-forge\venv\lib\site-packages (from torchvision->clip==1.0) (2.2.6)
Requirement already satisfied: pillow!=8.3.*,>=5.3.0 in .\stable-diffusion-webui-forge\venv\lib\site-packages (from torchvision->clip==1.0) (9.5.0)
Requirement already satisfied: colorama in .\stable-diffusion-webui-forge\venv\lib\site-packages (from tqdm->clip==1.0) (0.4.6)
Requirement already satisfied: intel-openmp==2021.* in .\stable-diffusion-webui-forge\venv\lib\site-packages (from mkl<=2021.4.0,>=2021.1.1->torch->clip==1.0) (2021.4.0)
Requirement already satisfied: tbb==2021.* in .\stable-diffusion-webui-forge\venv\lib\site-packages (from mkl<=2021.4.0,>=2021.1.1->torch->clip==1.0) (2021.13.1)
Requirement already satisfied: MarkupSafe>=2.0 in .\stable-diffusion-webui-forge\venv\lib\site-packages (from jinja2->torch->clip==1.0) (2.1.5)
Requirement already satisfied: mpmath<1.4,>=1.1.0 in .\stable-diffusion-webui-forge\venv\lib\site-packages (from sympy->torch->clip==1.0) (1.3.0)
.\stable-diffusion-webui-forge>.\stable-diffusion-webui-forge\venv\Scripts\python.exe -m pip install "numpy<2"
Collecting numpy<2
Downloading numpy-1.26.4-cp310-cp310-win_amd64.whl (15.8 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 15.8/15.8 MB 1.0 MB/s eta 0:00:00
Installing collected packages: numpy
Attempting uninstall: numpy
Found existing installation: numpy 2.2.6
Uninstalling numpy-2.2.6:
Successfully uninstalled numpy-2.2.6
ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
opencv-python-headless 4.13.0.92 requires numpy>=2; python_version >= "3.9", but you have numpy 1.26.4 which is incompatible.
opencv-contrib-python 4.13.0.92 requires numpy>=2; python_version >= "3.9", but you have numpy 1.26.4 which is incompatible.
open-clip-torch 2.20.0 requires protobuf<4, but you have protobuf 7.34.1 which is incompatible.
Successfully installed numpy-1.26.4
.\stable-diffusion-webui-forge>.\stable-diffusion-webui-forge\venv\Scripts\python.exe -m pip install torch-directml
Collecting torch-directml
Downloading torch_directml-0.2.5.dev240914-cp310-cp310-win_amd64.whl (9.0 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 9.0/9.0 MB 1.1 MB/s eta 0:00:00
Collecting torch==2.4.1
Downloading torch-2.4.1-cp310-cp310-win_amd64.whl (199.4 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 199.4/199.4 MB 1.0 MB/s eta 0:00:00
Collecting torchvision==0.19.1
Downloading torchvision-0.19.1-cp310-cp310-win_amd64.whl (1.3 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1.3/1.3 MB 1.2 MB/s eta 0:00:00
Requirement already satisfied: jinja2 in .\stable-diffusion-webui-forge\venv\lib\site-packages (from torch==2.4.1->torch-directml) (3.1.6)
Requirement already satisfied: fsspec in .\stable-diffusion-webui-forge\venv\lib\site-packages (from torch==2.4.1->torch-directml) (2026.3.0)
Requirement already satisfied: typing-extensions>=4.8.0 in .\stable-diffusion-webui-forge\venv\lib\site-packages (from torch==2.4.1->torch-directml) (4.15.0)
Requirement already satisfied: networkx in .\stable-diffusion-webui-forge\venv\lib\site-packages (from torch==2.4.1->torch-directml) (3.4.2)
Requirement already satisfied: filelock in .\stable-diffusion-webui-forge\venv\lib\site-packages (from torch==2.4.1->torch-directml) (3.25.2)
Requirement already satisfied: sympy in .\stable-diffusion-webui-forge\venv\lib\site-packages (from torch==2.4.1->torch-directml) (1.14.0)
Requirement already satisfied: pillow!=8.3.*,>=5.3.0 in .\stable-diffusion-webui-forge\venv\lib\site-packages (from torchvision==0.19.1->torch-directml) (9.5.0)
Requirement already satisfied: numpy in .\stable-diffusion-webui-forge\venv\lib\site-packages (from torchvision==0.19.1->torch-directml) (1.26.4)
Requirement already satisfied: MarkupSafe>=2.0 in .\stable-diffusion-webui-forge\venv\lib\site-packages (from jinja2->torch==2.4.1->torch-directml) (2.1.5)
Requirement already satisfied: mpmath<1.4,>=1.1.0 in .\stable-diffusion-webui-forge\venv\lib\site-packages (from sympy->torch==2.4.1->torch-directml) (1.3.0)
Installing collected packages: torch, torchvision, torch-directml
Attempting uninstall: torch
Found existing installation: torch 2.3.1+cu121
Uninstalling torch-2.3.1+cu121:
Successfully uninstalled torch-2.3.1+cu121
Attempting uninstall: torchvision
Found existing installation: torchvision 0.18.1+cu121
Uninstalling torchvision-0.18.1+cu121:
Successfully uninstalled torchvision-0.18.1+cu121
ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
open-clip-torch 2.20.0 requires protobuf<4, but you have protobuf 7.34.1 which is incompatible.
Successfully installed torch-2.4.1 torch-directml-0.2.5.dev240914 torchvision-0.19.1
6.手動インストールが終わったら、再度webui-user.batを実行します。
この時点でも気になるログは出ますが、ちゃんと起動できます。
.\stable-diffusion-webui-forge>webui-user.bat
'".\stable-diffusion-webui-forge\venv\Scripts\activate.bat"' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチ ファイルとして認識されていません。
venv ".\stable-diffusion-webui-forge\venv\Scripts\Python.exe"
Python 3.10.6 (tags/v3.10.6:9c7b4bd, Aug 1 2022, 21:53:49) [MSC v.1932 64 bit (AMD64)]
Version: f2.0.1v1.10.1-previous-669-gdfdcbab6
Commit hash: dfdcbab685e57677014f05a3309b48cc87383167
Launching Web UI with arguments: --directml --skip-torch-cuda-test --precision full --no-half --always-offload-from-vram
Using directml with device:
Total VRAM 1024 MB, total RAM 32697 MB
pytorch version: 2.4.1+cpu
Set vram state to: NORMAL_VRAM
Always offload VRAM
Device: privateuseone
VAE dtype preferences: [torch.float32] -> torch.float32
CUDA Using Stream: False
Using sub quadratic optimization for cross attention
Using split attention for VAE
Warning: caught exception 'Torch not compiled with CUDA enabled', memory monitor disabled
ControlNet preprocessor location: .\stable-diffusion-webui-forge\models\ControlNetPreprocessor
2026-04-05 14:14:09,166 - ControlNet - INFO - ControlNet UI callback registered.
Model selected: {'checkpoint_info': {'filename': '.\\stable-diffusion-webui-forge\\models\\Stable-diffusion\\animagineXL40_v4Opt.safetensors', 'hash': '06de8aee'}, 'additional_modules': [], 'unet_storage_dtype': None}
Using online LoRAs in FP16: False
Running on local URL: http://127.0.0.1:7860
To create a public link, set `share=True` in `launch()`.
Startup time: 23.1s (prepare environment: 1.3s, launcher: 0.7s, import torch: 12.7s, initialize shared: 0.1s, other imports: 0.4s, list SD models: 3.1s, load scripts: 2.1s, create ui: 2.1s, gradio launch: 1.1s).
Environment vars changed: {'stream': False, 'inference_memory': 1024.0, 'pin_shared_memory': False}
[GPU Setting] You will use 0.00% GPU memory (0.00 MB) to load weights, and use 100.00% GPU memory (1024.00 MB) to do matrix computation.モデルのダウンロード
CivitAIからモデルのダウンロードします。
Geminiによると、おすすめは以下だそうです。
Pony Diffusion V6 XL: 現在の主流です。プロンプトの理解力が非常に高く、スタイル指定(絵本風、水彩風)が効きやすいため、LoRAと組み合わせる土台として最強クラスです。
Anything V5 / V3: 定番のアニメ調モデルです。背景とキャラの馴染みがよく、汎用性が高いのが特徴です。
Counterfeit-V3.0: 空気感やライティングの表現が美しく、ハクメイとミコチのような「生活感のある背景」を描くのに向いています。
今回の作業はCounterfeit-V3.0で進めています。
ダウンロードが終わったらstable-diffusion-webui-forge\models\Stable-diffusionに配置します。
配置後、stable diffusionは起動し直してください。
Ollamaとプロンプト生成特化モデルのインストール
stable diffusionのプロンプトは英語が基本です。しかしどのような内容の英語にすればよいのか初心者ではわかりません。
そのためOllamaとプロンプト生成特化モデルをつかって日本語から英語プロンプトを生成してもらいます。
Ollamaのインストールは他の記事を参照していただくとして、プロンプト生成特化モデルは今回以下を使いました。
画像生成
生成の流れ
以下の流れで作成していきます。
Ollamaでプロンプトを生成
適当に日本語で指示を出します。
stable diffusionで画像を生成
いきなり画像を作るのではなく、ベースとなるpromptとnegative promptをGeminiに作成してもらい、それとOllamaで出力されたプロンプトを組み合わせます。
生成内容をみて、イメージに合わなかったら1からやり直す
生成画像をnano bananaで整形
細かい修正はstable diffusionだと大変なので、キャラが出来たらnano bananaで整形していきます。
Ollamaでプロンプトを生成
Page AssistというChrome拡張機能でOllamaに接続すると簡単に指示が出せるので、以下のように日本語を書くとプロンプトを作成してくれます。

promptとnegative promptの作成
Geminiに「ハクメイとミコチ」風のプロンプトのベースを作成してもらいます。
ポジティブ・プロンプト (Prompt)
まずはキャラクターの造形と質感を指定するキーワードを組み合わせます。
スタイル・質感の核
※最初に書かれている"hakumei to mikochi (style)"は今回は除外してstable diffusionに使っています。使うと絵柄が似てくるので個人で楽しんでください。
hakumei to mikochi (style), watercolor medium, traditional media, hand-drawn, flat color, soft shading, thick outlines, storybook illustration (水彩画、アナログ風、手描き、フラットな色使い、柔らかい影、太い輪郭線、絵本の挿絵)キャラクターの造形
chibi, small person, dwarf, round face, expressive eyes, short stature, 3 heads tall (ちびキャラ、小人、丸顔、表情豊かな目、低身長、3等身) ネガティブ・プロンプト (Negative Prompt)
現代的なアニメ風(パキッとした塗りや細すぎる線)にならないよう、以下の要素を排除します。
(worst quality, low quality:1.4), (shading:1.2), (gradient:1.2), realistic, photo, 3d, rendering, shiny skin, high saturation, sharp edges, thin lines, mecha, urban, modern architecture, skyscraper, (tall:1.3), long legs (低品質、グラデーション、リアル、写真、3D、テカテカした肌、高彩度、鋭いエッジ、細い線、メカ、都会、現代建築、高身長、長い足)stable diffusionで画像を生成
上のpromptとnegative prompt、それとOllamaで出力されたプロンプトを組み合わせて画像を作成します。
ここでサンプリングメソッド(Sampling Method)とスケジュールタイプ(Schedule Type)を変えて好みの画像になるようにしてください。

いろいろ10回くらいプロンプトを変えながら試して作成した画像が以下。
「ハクメイとミコチ」とは程遠いですが、オリジナリティがあるので、ここで妥協。

nano bananaで整形
上の画像をnano bananaで読み込んで、整形していきます。
最初にキャラを抜き出します。

あとはポーズ・配置・バックを決めていけばOKです。
ここで記事のタイトルを記載できるよう黒板を設けて、キャラが説明しているようにしました。
実際の黒板と比べるとだいぶ下に配置されているのは諦めました。

最後に記事のタイトルを入れて、構図を修正して完成です。

まとめ
stable diffusion初心者だったので、使いこなしている人はもっと色々でき、個性的なバナー画像になるのではないかと思います。
また整形でnano bananaを使っているため、画のタッチがAI風に若干置き換わってしまっているのも今後の課題かと思います。