Dimension-Free Convergence of Diffusion Models for Approximate Gaussian Mixtures

要約

拡散モデルは、特に反復除去を通じて高品質のサンプルを生成する際に、並外れた生成パフォーマンスによって区別されます。
現在の理論では、正確なサンプル生成に必要な除去手順の数は、データの寸法で直線的にスケーリングする必要があることが示唆されていますが、これは拡散確率モデル（DDPMS）を除去するような広く使用されているアルゴリズムの実用的な効率を反映していないことを示唆しています。
このペーパーでは、ガウス混合モデル（GMM）によって適用される可能性のある複雑な高次元分布からのサンプリングにおける拡散モデルの有効性を調査します。
これらの分布の場合、私たちの主な結果は、DDPMが最大で$ \ widetilde {o}（1/\ varepsilon）$ iterationsを取得して、$ \ varepsilon $ accurate districationを達成することを示しています。
さらに、この結果は推定エラーを採点するために堅牢なままです。
これらの発見は、GMMSの普遍的な近似能力を考慮して、高次元の設定での拡散モデルの顕著な有効性を強調し、それらの実際的な成功に関する理論的洞察を提供します。

要約(オリジナル)

Diffusion models are distinguished by their exceptional generative performance, particularly in producing high-quality samples through iterative denoising. While current theory suggests that the number of denoising steps required for accurate sample generation should scale linearly with data dimension, this does not reflect the practical efficiency of widely used algorithms like Denoising Diffusion Probabilistic Models (DDPMs). This paper investigates the effectiveness of diffusion models in sampling from complex high-dimensional distributions that can be well-approximated by Gaussian Mixture Models (GMMs). For these distributions, our main result shows that DDPM takes at most $\widetilde{O}(1/\varepsilon)$ iterations to attain an $\varepsilon$-accurate distribution in total variation (TV) distance, independent of both the ambient dimension $d$ and the number of components $K$, up to logarithmic factors. Furthermore, this result remains robust to score estimation errors. These findings highlight the remarkable effectiveness of diffusion models in high-dimensional settings given the universal approximation capability of GMMs, and provide theoretical insights into their practical success.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google