Linear Convergence of Diffusion Models Under the Manifold Hypothesis

要約

スコアマッチング生成モデルは、複雑な高次元データ分布からのサンプリングに成功していることが証明されています。
多くの応用では、この分布は $D$ 次元空間に埋め込まれたはるかに低い $d$ 次元多様体に集中していると考えられています。
これは多様体仮説として知られています。
現在最もよく知られている収束保証は、$D$ の線形または $d$ の多項式 (超線形) です。
後者は、後方 SDE の新しい統合スキームを利用します。
我々は両方の長所を生かし、拡散モデルがカルバック・ライブラー~(KL)発散に収束するために必要なステップ数が固有次元 $d$ において線形(対数項まで)であることを示します。
さらに、この線形依存性が鋭いことを示します。

要約(オリジナル)

Score-matching generative models have proven successful at sampling from complex high-dimensional data distributions. In many applications, this distribution is believed to concentrate on a much lower $d$-dimensional manifold embedded into $D$-dimensional space; this is known as the manifold hypothesis. The current best-known convergence guarantees are either linear in $D$ or polynomial (superlinear) in $d$. The latter exploits a novel integration scheme for the backward SDE. We take the best of both worlds and show that the number of steps diffusion models require in order to converge in Kullback-Leibler~(KL) divergence is linear (up to logarithmic terms) in the intrinsic dimension $d$. Moreover, we show that this linear dependency is sharp.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google