Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers

要約

ノイズ除去拡散モデルは、ノイズを意味のあるデータに変換できる強力な生成技術として最近登場しました。
ターゲット分布がトレーニング分布と一致する場合、拡散モデルの理論的な収束保証は十分に確立されますが、実際のシナリオでは不一致が生じることがよくあります。
一般的なケースの 1 つは、ゼロショット条件付き拡散サンプリングです。この場合、ターゲットの条件付き分布は (無条件の) トレーニング分布とは異なります。
これらのスコア不一致の拡散モデルは、理論的な観点からはほとんど解明されていません。
この論文では、有限二次モーメントを持つターゲット分布に焦点を当て、一般的なスコア不一致拡散サンプラーに対する明示的な次元依存性を備えた最初のパフォーマンス保証を示します。
スコアの不一致により、ターゲット分布とサンプリング分布の間に漸近的な分布バイアスが生じ、ターゲット分布とトレーニング分布の間の累積不一致に比例することがわかります。
この結果は、測定ノイズに関係なく、任意の条件付きモデルのゼロショット条件付きサンプラーに直接適用できます。
興味深いことに、導出された収束上限は、漸近バイアスを最小限に抑える線形条件付きモデルにおける新しいバイアス最適ゼロショット サンプラーを設計するための有用なガイダンスを提供します。
このようなバイアス最適サンプラーについては、次元と条件付けに対する明示的な依存関係を使用して収束保証をさらに確立し、有界サポートやガウス混合を含むいくつかの興味深いターゲット分布に適用します。
私たちの発見は数値研究によって裏付けられています。

要約(オリジナル)

The denoising diffusion model has recently emerged as a powerful generative technique, capable of transforming noise into meaningful data. While theoretical convergence guarantees for diffusion models are well established when the target distribution aligns with the training distribution, practical scenarios often present mismatches. One common case is in zero-shot conditional diffusion sampling, where the target conditional distribution is different from the (unconditional) training distribution. These score-mismatched diffusion models remain largely unexplored from a theoretical perspective. In this paper, we present the first performance guarantee with explicit dimensional dependencies for general score-mismatched diffusion samplers, focusing on target distributions with finite second moments. We show that score mismatches result in an asymptotic distributional bias between the target and sampling distributions, proportional to the accumulated mismatch between the target and training distributions. This result can be directly applied to zero-shot conditional samplers for any conditional model, irrespective of measurement noise. Interestingly, the derived convergence upper bound offers useful guidance for designing a novel bias-optimal zero-shot sampler in linear conditional models that minimizes the asymptotic bias. For such bias-optimal samplers, we further establish convergence guarantees with explicit dependencies on dimension and conditioning, applied to several interesting target distributions, including those with bounded support and Gaussian mixtures. Our findings are supported by numerical studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google