Soft Mixture Denoising: Beyond the Expressive Bottleneck of Diffusion Models

要約

拡散モデルは画像合成などの多くのタスクで優れたパフォーマンスを示しているため、最近の研究では、これらのモデルが強力な近似機能を備えていることを (特定の仮定の下で) 証明する傾向にあります。
この論文では、現在の拡散モデルには実際に後方ノイズ除去における表現上のボトルネックがあり、既存の理論的保証によって行われたいくつかの仮定が強すぎることを示します。
この発見に基づいて、拡散モデルにはローカルとグローバルの両方のノイズ除去において無制限の誤差があることが証明されます。
理論的研究を踏まえて、後方ノイズ除去のための表現力豊かで効率的なモデルであるソフト混合ノイズ除去 (SMD) を紹介します。
SMD を使用すると、拡散モデルが理論的に混合ガウス分布によく近似できるだけでなく、実装が簡単かつ効率的になります。
複数の画像データセットに対する実験では、特に後方反復がほとんどない状況において、SMD がさまざまな種類の拡散モデル (DDPM など) を大幅に改善することが示されています。

要約(オリジナル)

Because diffusion models have shown impressive performances in a number of tasks, such as image synthesis, there is a trend in recent works to prove (with certain assumptions) that these models have strong approximation capabilities. In this paper, we show that current diffusion models actually have an expressive bottleneck in backward denoising and some assumption made by existing theoretical guarantees is too strong. Based on this finding, we prove that diffusion models have unbounded errors in both local and global denoising. In light of our theoretical studies, we introduce soft mixture denoising (SMD), an expressive and efficient model for backward denoising. SMD not only permits diffusion models to well approximate any Gaussian mixture distributions in theory, but also is simple and efficient for implementation. Our experiments on multiple image datasets show that SMD significantly improves different types of diffusion models (e.g., DDPM), espeically in the situation of few backward iterations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google