Stable Duffusion – Latent Couple extensionで複数キャラを描き分ける

2023/04/292023/05/13

Latent Couple extensionを使えば１枚絵の中で複数のキャラを描き分けることができるということで実際に試してみました。なおSD2系でも使用可能な拡張機能ですのでStable Duffusionユーザーであれば基本使える拡張機能です。

この拡張機能で出来ること

Latent Couple extensionを使えば１枚絵の中で複数のキャラを描き分けることができます。例えばこんな感じです。

Latent Couple extensionの導入方法

Latent Couple extensionの導入は一般的な拡張機能の導入手順と同じです。下記GitHubのリポジトリURLをStable Diffusion web UIの拡張機能タブで指定してインストール、web UIの再読み込みを行ってください。無事導入が完了しますとt2iタブ内に「Latent Couple」という項目が表れます。

GitHub – opparco/stable-diffusion-webui-two-shot: Latent Couple extension (two shot diffusion port)

Latent Couple extensionの使い方

仕組み

Latent Coupleは画像を分割してできた領域ごとにプロンプトを適用するという処理を行う拡張機能です。例えば1500px×500pxの画像を2:4で分割するイメージとしてはこんな感じです。なおLatent Coupleでは縦：横で画像を分割します。

Latent Coupleの使い方

Latent Coupleの設定項目には「Divisions（分割）」「Positions（位置）」「Weights（重み）」「end at this step（このステップで終了）」という4つの基本設定と「Extra generation params（追加生成パラメータ）」という上級者向けオプションがあります。拡張機能を使用する場合は「Enabled（有効化）」のチェックは忘れずに。

Divisions（分割）

画像を何分割するかの設定です。下のイラストは登場人物が二人なので分割数は2（紫枠）となります。書き方は「1:2,1:2」となります。キャラクターごとに比率を決めてあげることが重要です。キャラクターが3人であれば「1:3,1:3,1:3」になります。また、キャラクター2人だけではなく背景も必要な場合は「1:1(背景),1:2(キャラ),1:2(キャラ)」となります。キャラクターの比率の前に背景を指定してあげる形です。

Positions（位置）

分割したエリアを指定する設定です。Latent Coupleでは以下のような順番で分割エリアを数えます。そのため1500px×500pxを2:4分割した画像のPositionsすべてを指定する場合は「0:0(背景),0:0(左上),0:1,0:2,0:3,1:0,1:1,1:2,1:3」という形になるようです。

Weights（重み）

文字通り重みです。分割したエリアごとの重みを指定する設定です。すべて「1」で良いと言われがちですが、個人的に細かく設定した方が出力が安定する気がしています。特に主題がキャラクターである場合には背景の重みが強いと出力が不安定になる気がします。私の使用するモデルが不完全な所為かもしれませんが……。

end at this step（このステップで終了）

サンプリングステップ数で指定しているステップ数に対して、どこまでLatent Coupleの処理を行うかの設定です。基本はサンプリングステップ数に合わせると良いかと思いますが、プロンプトの書き方によっては途中で処理を終わらせたい場合もあるかと思いますので調整してください。

プロンプトの書き方

Latent Coupleを使用する場合、プロンプトはANDで区切る必要があります。先ほどイラストは下記のようなプロンプトで生成しています。なおtwo girlsなどの人数指定は各行に入れる必要があるようです。

(anime, tone mapped:1.2), (best quality, masterpiece, pastel colors:1.2), two girls, flower, 
AND two girls, short hair, white hair, white eyes, (black kimono:1.5), floral print, print kimono, obi, sash, wide sleeves, long sleeves, yukata, looking at viewer
AND two girls, long hair, black hair, black eye, white kimono, floral print, print kimono, obi, sash, wide sleeves, long sleeves, yukata, looking at viewer

補足

Latent Couple extensionは処理が意外と重いらしく、環境によってはそれまでの解像度で生成しようとするとエラーが起きるかもしれません。また低stepだと劣化が目立つ場合があるのでLatent Coupleを使う場合は普段よりもstep数を増やすと良いかもしれません。

「Visualize（可視化）」をクリックすることで分割エリアを確認することができますので、Divisions、Positions、Weightsに迷ったらこちらを押しながら設定値を決めていくと良いかと思います。

作者のツイート

Latent Couple extensionのその他機能については作者様のツイートを見られると理解しやすいかと思います。機能追加に関しての情報展開もこちらでやってる？ようなので一度確認しておくと良いかもしれません。上級者向けオプションの「Extra generation params（追加生成パラメータ）」についても解説されています。

ぱるたさんはTwitterを使っています: 「Latent Couple の設定項目に関して… https://t.co/TYI6G1lZiC」 / Twitter

Latent Couple Region Mapper

Latent Coupleの解説をしてきましたが複雑な構図を作るのは難しいと感じられたかもしれません。でも大丈夫です。そんな時に使えるのがLatent Couple Region Mapperというものです。直観的な操作が可能であるためここでは詳しい解説は省略しますが、こちらを使うことでLatent Coupleの構図指定が数段に容易になります。

作者の方がYouTubeで使い方を説明されています。英語ですが眺めているだけで理解できるかと思います。