Do Diffusion Models Suffer Error Propagation? Theoretical Analysis and Consistency Regularization

要約

拡散モデルはデータ合成において有望なパフォーマンスを達成していますが、そのカスケード構造により、分布の不一致がノイズ除去モジュールのチェーンを通じて広がり、拡大するため、エラーの伝播が発生する可能性があります。
ただし、条件付きランダム場 (CRF) などの多くの逐次モデルには誤差の伝播がないため、厳密な解析が期待されます。
この論文では、拡散モデルが実際に誤差伝播の影響を受けることを経験的および理論的に検証し、この問題に対処するための正則化を提案します。
私たちの理論的分析により、問題は拡散モデルのすべてのノイズ除去モジュールがフォールトトレラントであるかどうかに帰着できることが明らかになりました。
洞察力に富んだ遷移方程式を導き出し、モジュールが入力エラーから回復できず、追加のエラーが次のモジュールに伝播することさえあることを示しています。
私たちの分析は、拡散モデルの一貫性正則化スキームに直接つながり、前方プロセスと後方プロセスの間の分布ギャップを明示的に削減します。
さらに、正則化器の計算コストを削減するためにブートストラップ アルゴリズムを導入します。
複数の画像データセットに対する実験結果は、正則化が誤差の伝播を効果的に処理し、バニラ拡散モデルのパフォーマンスを大幅に向上させることを示しています。

要約(オリジナル)

While diffusion models have achieved promising performances in data synthesis, they might suffer error propagation because of their cascade structure, where the distributional mismatch spreads and magnifies through the chain of denoising modules. However, a strict analysis is expected since many sequential models such as Conditional Random Field (CRF) are free from error propagation. In this paper, we empirically and theoretically verify that diffusion models are indeed affected by error propagation and we then propose a regularization to address this problem. Our theoretical analysis reveals that the question can be reduced to whether every denoising module of the diffusion model is fault-tolerant. We derive insightful transition equations, indicating that the module can’t recover from input errors and even propagates additional errors to the next module. Our analysis directly leads to a consistency regularization scheme for diffusion models, which explicitly reduces the distribution gap between forward and backward processes. We further introduce a bootstrapping algorithm to reduce the computation cost of the regularizer. Our experimental results on multiple image datasets show that our regularization effectively handles error propagation and significantly improves the performance of vanilla diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google