Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models

要約

ガイダンスは、画像生成拡散モデルから最高のパフォーマンスを引き出すための重要なテクニックです。
従来、画像のサンプリング チェーン全体に一定のガイダンス ウェイトが適用されてきました。
私たちは、ガイダンスがチェーンの最初の方 (ノイズ レベルが高い) では明らかに有害であり、チェーンの終わりの方 (ノイズ レベルが低い) ではほとんど不要であり、途中でのみ有益であることを示します。
したがって、特定の範囲のノイズ レベルに制限し、推論速度と結果の品質の両方を向上させます。
この制限されたガイダンス間隔により、ImageNet-512 のレコード FID が 1.81 から 1.40 に大幅に向上します。
これは、Stable Diffusion XL の大規模設定を含む、さまざまなサンプラー パラメーター、ネットワーク アーキテクチャ、データセットにわたって定量的および定性的に有益であることを示します。
したがって、ガイダンスを使用するすべての拡散モデルで、ガイダンス間隔をハイパーパラメーターとして公開することを提案します。

要約(オリジナル)

Guidance is a crucial technique for extracting the best performance out of image-generating diffusion models. Traditionally, a constant guidance weight has been applied throughout the sampling chain of an image. We show that guidance is clearly harmful toward the beginning of the chain (high noise levels), largely unnecessary toward the end (low noise levels), and only beneficial in the middle. We thus restrict it to a specific range of noise levels, improving both the inference speed and result quality. This limited guidance interval improves the record FID in ImageNet-512 significantly, from 1.81 to 1.40. We show that it is quantitatively and qualitatively beneficial across different sampler parameters, network architectures, and datasets, including the large-scale setting of Stable Diffusion XL. We thus suggest exposing the guidance interval as a hyperparameter in all diffusion models that use guidance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google