Improving Sample Quality of Diffusion Models Using Self-Attention Guidance

要約

ノイズ除去拡散モデル (DDM) は、その卓越した生成品質と多様性で注目を集めています。
この成功は主に、分類子や分類子を使用しないガイダンスなど、クラスまたはテキスト条件付きの普及ガイダンス手法の使用によるものです。
本稿では、従来の指導方法を超えた、より包括的な視点を示します。
この一般化された観点から、生成される画像の品質を向上させるための、条件やトレーニングを必要としない新しい戦略を紹介します。
シンプルな解決策として、ブラー ガイダンスは中間サンプルの微細スケール情報と構造への適合性を向上させ、拡散モデルが適度なガイダンス スケールで高品質のサンプルを生成できるようにします。
これを改良したセルフ アテンション ガイダンス (SAG) は、拡散モデルの中間セルフ アテンション マップを使用して、その安定性と有効性を強化します。
具体的には、SAG は、各反復で拡散モデルが注目する領域のみを敵対的にぼかし、それに応じてガイドします。
私たちの実験結果は、SAG が ADM、IDDPM、安定拡散、DiT を含むさまざまな拡散モデルのパフォーマンスを向上させることを示しています。
さらに、SAG と従来の誘導方法を組み合わせることで、さらなる改善につながります。

要約(オリジナル)

Denoising diffusion models (DDMs) have attracted attention for their exceptional generation quality and diversity. This success is largely attributed to the use of class- or text-conditional diffusion guidance methods, such as classifier and classifier-free guidance. In this paper, we present a more comprehensive perspective that goes beyond the traditional guidance methods. From this generalized perspective, we introduce novel condition- and training-free strategies to enhance the quality of generated images. As a simple solution, blur guidance improves the suitability of intermediate samples for their fine-scale information and structures, enabling diffusion models to generate higher quality samples with a moderate guidance scale. Improving upon this, Self-Attention Guidance (SAG) uses the intermediate self-attention maps of diffusion models to enhance their stability and efficacy. Specifically, SAG adversarially blurs only the regions that diffusion models attend to at each iteration and guides them accordingly. Our experimental results show that our SAG improves the performance of various diffusion models, including ADM, IDDPM, Stable Diffusion, and DiT. Moreover, combining SAG with conventional guidance methods leads to further improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google