Nearly $d$-Linear Convergence Bounds for Diffusion Models via Stochastic Localization

要約

ノイズ除去拡散は、高次元データ分布から近似サンプルを生成する強力な方法です。
最近の結果は、$L^2$ 精度のスコアを仮定して、収束率の多項式限界を提供します。
これまで、最も厳しい境界はデータ次元で超線形であるか、または強力な滑らかさの仮定が必要でした。
データ分布の有限二次モーメントのみを仮定して、データ次元 (対数係数まで) で線形である最初の収束限界を提供します。
$\mathbb{R}^ 上の任意の分布を近似するには、拡散モデルが最大 $\tilde O(\frac{d \log^2(1/\delta)}{\varepsilon^2})$ ステップ必要であることを示します。
d$ は、分散 $\delta$ のガウス ノイズによって、KL 発散の $\varepsilon^2$ 以内に破損しました。
私たちの証明は、以前の研究の Girsanov ベースの方法を拡張します。
確率的局在化にヒントを得た、逆 SDE の離散化による誤差の洗練された処理を導入します。

要約(オリジナル)

Denoising diffusions are a powerful method to generate approximate samples from high-dimensional data distributions. Recent results provide polynomial bounds on their convergence rate, assuming $L^2$-accurate scores. Until now, the tightest bounds were either superlinear in the data dimension or required strong smoothness assumptions. We provide the first convergence bounds which are linear in the data dimension (up to logarithmic factors) assuming only finite second moments of the data distribution. We show that diffusion models require at most $\tilde O(\frac{d \log^2(1/\delta)}{\varepsilon^2})$ steps to approximate an arbitrary distribution on $\mathbb{R}^d$ corrupted with Gaussian noise of variance $\delta$ to within $\varepsilon^2$ in KL divergence. Our proof extends the Girsanov-based methods of previous works. We introduce a refined treatment of the error from discretizing the reverse SDE inspired by stochastic localization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google