Stable Diffusion – ToMeを使って画像生成速度をUPする

【設定項目】

ToMe merging ratio, higher the faster, it should not go over 1-(1/(sx*sy)), which is 0.75 by default

トークンをマージする割合を設定します。値が高いほど処理が高速になりますが、品質が低下する可能性があります。デフォルト値は0.75で、1-(1/(sx*sy))より大きくすることはできません。ここで、sx (Stride – X) とsy (Stride – Y) は画像のサイズに依存する定数です。

Only activate tome if image width reach this value / Only activate tome if image height reach this value

ToMeを適用する画像の幅と高さの最小値を指定します。生成する画像のサイズに合わせて指定しなければいけないため、t2iで研究する際には面倒。ToMeは高解像度化のみで使用すると良いのかも。

Use random perturbations – Disable if you see werid artifacts

トークンのマージを行う際に画像にランダム性を持たせる画像の品質を改善させるもののようですが、場合によっては画像の一部が歪んだり、不自然な形になることがあるようです。ただこれを有効化すると他のパラメーター（どこのことかわからない）の調整が必要だったりするらしく、よくわからない場合は触らなくていいかと思います。

Merge attention (recommended)

Self-Attention層という層でトークンマージングを有効にするかどうかの設定のようです。推奨されているのでデフォルト使用が良いかと思います。

Merge cross attention (not recommended)

Cross-Attention層という層でトークンマージングを有効にするかどうかの設定のようです。推奨されていないのでデフォルト使用が良いかと思います。

Merge mlp (very not recommended)

MLP層という層でトークンマージングを有効にするかどうかの設定のようです。デフォルト使用が良いかと思います。

Maximum down sampling

入力画像を事前に一定のサイズの縮小率で縮小したい場合に「1」以外を選択する感じです。入力画像のサイズを縮小することでToMeの処理の対象とする画像サイズの範囲を制限することができるようです。ただし、縮小率が大きくなりすぎると、画像が荒くなったり情報が失われたりする可能性があるため、適切な値を設定する必要がありそうです

Stride – X / Stride – Y

フィルターの移動幅かと思います。ストライドが大きいと情報の欠落が生じ性能が低下しそうなので、デフォルトが「2」であることからもそのまま使用するのが良いのかと思います。