Linear Convergence Bounds for Diffusion Models via Stochastic Localization

要約

拡散モデルは、高次元データ分布から近似サンプルを生成するための強力な方法です。
いくつかの最近の結果は、$L^2$ 精度のスコア推定量を仮定した場合、そのようなモデルの収束率に関する多項式限界を提供しました。
ただし、これまで最もよく知られているそのような境界は、データ次元で超線形であるか、または強力な滑らかさの仮定を必要とするかのいずれかでした。
データ分布の有限二次モーメントのみを仮定して、データ次元 (対数係数まで) で線形である最初の収束限界を提供します。
$\mathbb{R} 上の任意のデータ分布を近似するには、拡散モデルが最大 $\tilde O(\frac{d \log^2(1/\delta)}{\varepsilon^2})$ ステップ必要であることを示します。
^d$ は、カルバック – ライブラー発散における分散 $\delta$ のガウス ノイズによって $\varepsilon^2$ 以内に破損しました。
私たちの証明は、Girsanov に基づいた以前の研究の方法に基づいています。
確率的局所化のツールに基づいた、逆 SDE の離散化から生じる誤差の洗練された処理を導入します。

要約(オリジナル)

Diffusion models are a powerful method for generating approximate samples from high-dimensional data distributions. Several recent results have provided polynomial bounds on the convergence rate of such models, assuming $L^2$-accurate score estimators. However, up until now the best known such bounds were either superlinear in the data dimension or required strong smoothness assumptions. We provide the first convergence bounds which are linear in the data dimension (up to logarithmic factors) assuming only finite second moments of the data distribution. We show that diffusion models require at most $\tilde O(\frac{d \log^2(1/\delta)}{\varepsilon^2})$ steps to approximate an arbitrary data distribution on $\mathbb{R}^d$ corrupted with Gaussian noise of variance $\delta$ to within $\varepsilon^2$ in Kullback–Leibler divergence. Our proof builds on the Girsanov-based methods of previous works. We introduce a refined treatment of the error arising from the discretization of the reverse SDE, which is based on tools from stochastic localization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google