Stable DIffusion – Tiled Diffusion with Tiled VAEを使って高解像度画像を生成する

高解像度の画像を生成する方法は色々あると思いますが、この記事ではTiled Diffusion with Tiled VAEの使い方について解説していきます。なお正しい情報を提供できるよう努めてはいますが技術屋ではないので、内部の処理などについての詳細な理解は不足しています。「Tiled Diffusion with Tiled VAEってこんな感じかふーん」程度の理解が得られるかもしれない記事と考えてください。

Tiled Diffusion with Tiled VAEとは

Tiled DiffusionはStable Diffusionで生成した画像を高解像度化する拡張機能です。旧称はMultiDissusion with Tiled VAEです。VRAMをそれほど使用せずに画像の高解像度化を行えるため、一般家庭用でも高解像度の画像を生成することができるようになります。Tiled Diffusion with Tiled VAEの中には拡張機能「Tiled Diffusion」と「Tiled VAE」の2つが入っています。

Tiled Diffusion

画像を小さなタイルに分割し、各タイルを独立して拡大する手法です。通常のDiffusionモデルは大きな画像に対して計算コストが高くなりますが、この手法は大規模な画像のアップスケーリングに適しており、またタイルごとに異なる拡大率を適用することでより自然な拡大画像を生成することができるようです。

Mixture of Diffusers と MultiDiffusionというSOTA diffusion tiling algorithms（この分野において現時点において最先端のdiffusion技術）があり、これらのうちどちらを使用するかをweb UI上で選べるようになっています。詳しいことはリンク先を読んでください。難解で目がチカチカしますが。MultiDiffusionの方がタイル状に分割という言葉そのままの意味には近いのかな。

昔から生成AIをやられている方は画像を分割→個別にi2i→境界の処理のようなことをやられていたみたいな話を耳にしたことがあるのですが、これを自動でやってくれるイメージなんですかね。

Tiled VAE

VAEのエンコード、デコード時のVRAM使用量を大幅に削減するようです。Tiled VAEを使用すると画像が精細化するみたいな感じがありますが、おそらくVRAM使用量が抑えられたことで他の処理（何かはわからない）が動くための余白ができ、結果画像が精細化しているのではないかなと思ってます。

なおTiled VAEによってVRAMは抑えられますが、単純に処理が増えるため生成にかかる時間は伸びます。

またアップスケールを行う際にタイル分割を行うため分割領域ごとに別のプロンプトを適用させるといった機能もあります。「Tiled Diffusion」に含まれている「Region Prompt Control」を使用することでこれが行えます。

注意事項

以下はTiled DiffusionはStable DiffusionのGitHubに記載されている内容です。一部のWebサイトにてこの拡張機能が悪意ある何者かによって有償で提供されているようです。

Please be aware that the License of this repo has changed to prevent some web shops from deceiving the customers. This extension is licensed under CC BY-NC-SA, everyone is FREE of charge to access, use, modify and redistribute with the same license.
You cannot use versions after AOE 2023.3.28 for commercial sales (only refers to code of this repo, the derived artworks are NOT restricted).

GitHub – pkuliyi2015/multidiffusion-upscaler-for-automatic1111: Tiled Diffusion and VAE optimize, licensed under CC BY-NC-SA 4.0

これに関連してTiled Diffusion with Tiled VAEは2023.3.28以降CC BY-NC-SA 4.0が付与されています。CC BY-NC-SA 4.0は商用利用に制限が掛かるライセンスです。

しかし、作者曰くコードの販売や、商用サービスへの使用ができないだけで生成物には影響しないとのことです。

要点をまとめると、Tiled Diffusion with Tiled VAEは「コードの販売や、商用サービスへの使用」を行わなければ商用利用可能であるという感じです。

この点については書くかどうか迷いましたがライセンスが突然変更になりやすいこの界隈で、実際に変なライセンス変更をが起きた拡張機能ですので、記事を書く上で周知は必要かと思い記載しました。そもそもCCライセンスは、ソースコードやオブジェクトコードについては適用の対象として考慮されていないため、ソフトウェアにCCライセンスを付けることはお勧めされていません。

Tiled Diffusion with Tiled VAEの導入方法

Google Colaboratory版

%cd /content/stable-diffusion-webui/extensions/
!git clone https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111 /content/stable-diffusion-webui/extensions/multidiffusion-upscaler-for-automatic1111

%cd /content/stable-diffusion-webui

ローカル版

web UIを起動 → 「Extensions」タブをクリック → 「Install from URL」タブをクリック → https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111.git と入力 → 「Install」

Tiled Diffusion with Tiled VAEの使い方

i2iで高解像度化

以下がi2iにおけるTiled Diffusionの設定項目です。このうち「Regional Prompt Control」については後述します。

必須の設定項目を変更すれば、あとはデフォルトのままでも画像のアップスケールは可能です。また「Noise Inversion」は最近追加された機能なので有効化しなくてもTiled Diffusionは動作します。

より詳しく知りたいという方はGitHubの以下リンクをご覧ください。

Tiled Diffusionだけでも設定と環境によっては動きます。しかしほとんどの場合OutOfMemoryError: CUDA out of memory. Tried to ~というエラーが出て停止すると思います。このような場合に使用するのが「Tiled VAE」です。では続いてTiled VAEの設定について解説します。

以下が「Tiled VAE」の設定項目です。Tiled Diffusionと異なりTiled VAEはi2iでもt2iでも設定項目に違いはありません。

Tiled VAEはTiled Diffusionと異なり基本的にOutOfMemoryError: CUDA out of memory. Tried to ~が出ない限りはデフォルトの設定値のまま利用しても問題ないようです。「有効化」だけは忘れずに。

エラーが出た場合には環境に合わせてタイルサイズを小さくする必要があります（タイルバッチサイズを小さくしても良いかも）。これにより画像がグレーで不鮮明になる場合は、「Encoder Color Fix」を有効にすると良いようです。

より詳しく知りたいという方はGitHubの以下リンクをご覧ください。

i2iによる高解像度化は基本的に最後の仕上げかと思います。ですのでノイズ除去強度は低めに設定されているかと思いますが、万が一高め（0.5以上など）で設定されていた場合、1girlにしているはずがハーレムですかというように沢山の人が表れる可能性があります。これはタイル状に分割しアップスケールすることによる弊害です。具体的にはタイル一つ一つにプロンプトが適用されている状態です。回避方法としてはノイズ除去強度を下げることで元画像からの乖離を抑える方法と、後述する「Regional Prompt Control」を使用する方法があります。が、i2iにおいてはノイズ除去強度を下げる方法が一番楽で確実ではないかと思います。

t2iで高解像度画像を生成

t2iを用いて高解像度の画像を生成する方法です。アップスケールを行うのではなく、初手で高解像度を生成する場合などに使用する感じでしょうか。

以下がt2iにおける「Tiled Diffusion」と「Tiled VAE」の設定項目です。基本的にi2iと同じですが一部異なっています。

Regional Prompt Controlで生成

Regional Prompt Controlを用いて領域分割を行う方法です。Regional Prompt Controlはi2iでもt2iでも同様の機能なので、ここではt2iをベースに解説します。

記事の構成上引っ張りましたが1girlを正確に出すにはRegional Prompt Controlを使うよりもLatent Coupleを使用する方が正確に描きだせます。

以下がRegional Prompt Controlの設定項目です。

以下はRegion内の設定項目です。Region 1を例に解説しますが他のRegionも同じです。

Regional Prompt Controlは領域分割ができ、分割したタイルごとにプロンプトを適用することができます。

1girlを出す方法ですがRegion 1にキャラクター用プロンプトを入れ（ネガで背景指定）、Region 2に背景用プロンプト（ネガでキャラ指定）のような形を取ると出せます。2girlsにするにはGitHubでは「Region 1」に背景を指定して「Region 2」に人物１を指定、「Region 3」に人物２を指定というようにしているようです。

なおRegional Prompt Controlを使用する場合にはメインのプロンプトは品質系を入れることになります。

タイル分割があることでこのような使い方ができるRegional Prompt Controlですが、前述した通りLatent Coupleには及ばないため、使い方に関しては考える必要があるかと思います。

最後に

生成AIを始めてAIや機械学習といわれるものに触れ始めましたが技術屋どころかプログラムすらろくに書けないため、日進月歩過ぎるこの界隈に少しでも食らいついていけるようブログを始めてからは技術記事？を書いてきましたが「Tiled Diffusion with Tiled VAE」は過去一重い記事でした。

「Tiled Diffusion with Tiled VAE」はGituHubのページで機能についてかなり詳しく解説されています。全文英語であるのと、非技術屋の私的には読むだけでは理解できない点が多々あったため記事を書きました。とはいえ、原文を読むと理解が深まるのは確かなので、時間がある方は一度読んでみると良いかもしれません。

「Tiled Diffusion with Tiled VAE」難しくて使いにくい、もっとシンプルで良いという場合には、こちらの記事で紹介しているUltimate SD Upscaleがおすすめです。

紫雲雑想

Stable Diffusion – Ultimate SD Upscaleを使って高解像度画像を生成する | 紫雲雑想 Stable Diffusionで高解像度の画像を生成する方法は色々ありますが、この記事ではUltimate SD Upscaleを使った方法について解説します。

この記事がお役に立てば幸いです。

以上です。