On Error Propagation of Diffusion Models

要約

拡散モデル (DM) は、多くのタスク (音声合成や画像生成など) で有望なパフォーマンスを示していますが、逐次構造のため、エラー伝播の影響を受ける可能性があります。
ただし、条件付きランダム場 (CRF) などの一部の逐次モデルではこの問題が発生しないため、これは確実ではありません。
この問題に対処するために、DM のアーキテクチャにおける誤差伝播を数学的に定式化するための理論的フレームワークを開発します。このフレームワークには、モジュール誤差、累積誤差、伝播方程式を含む 3 つの要素が含まれています。
モジュール誤差と累積誤差は方程式によって関連付けられており、これは DM が実際に誤差伝播の影響を受けることを解釈します。
私たちの理論的研究は、累積誤差が DM の生成品質と密接に関係していることも示唆しています。
この発見に基づいて、累積誤差を正則化項として適用して、誤差の伝播を削減します。
この項は計算上扱いにくいため、その上限を導出し、最適化の限界を効率的に推定するブートストラップ アルゴリズムを設計します。
私たちは複数の画像データセットに対して広範な実験を実施し、提案した正則化がエラー伝播を削減し、バニラ DM を大幅に改善し、以前のベースラインを上回るパフォーマンスを示すことを示しました。

要約(オリジナル)

Although diffusion models (DMs) have shown promising performances in a number of tasks (e.g., speech synthesis and image generation), they might suffer from error propagation because of their sequential structure. However, this is not certain because some sequential models, such as Conditional Random Field (CRF), are free from this problem. To address this issue, we develop a theoretical framework to mathematically formulate error propagation in the architecture of DMs, The framework contains three elements, including modular error, cumulative error, and propagation equation. The modular and cumulative errors are related by the equation, which interprets that DMs are indeed affected by error propagation. Our theoretical study also suggests that the cumulative error is closely related to the generation quality of DMs. Based on this finding, we apply the cumulative error as a regularization term to reduce error propagation. Because the term is computationally intractable, we derive its upper bound and design a bootstrap algorithm to efficiently estimate the bound for optimization. We have conducted extensive experiments on multiple image datasets, showing that our proposed regularization reduces error propagation, significantly improves vanilla DMs, and outperforms previous baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google