Convergence of Diffusion Models Under the Manifold Hypothesis in High-Dimensions

要約

ノイズ除去拡散確率モデル (DDPM) は、高次元データ分布から合成データを生成するために使用される強力な最先端の手法であり、画像、オーディオ、ビデオの生成だけでなく、科学やその他の分野の多くのアプリケーションに広く使用されています。
多様体仮説は、高次元データが周囲空間内の低次元多様体上に存在することが多いと述べており、提供された例でもそれが当てはまると広く信じられています。
最近の結果は、拡散モデルが多様体仮説にどのように適応するかについて貴重な洞察を提供しましたが、これらのモデルの大きな経験的成功を捉えていないため、これを非常に有益な研究方向にしています。
この研究では、多様体仮説に基づいて DDPM を研究し、スコアの学習に関して周囲の次元に依存しないレートを達成することを証明します。
サンプリングに関しては、周囲の次元とは無関係にレートを取得します。
カルバック-ライブラー発散、および $O(\sqrt{D})$ w.r.t.
ワッサーシュタイン距離。
私たちはこれを、拡散モデルを十分に研究されたガウス過程の極値理論に接続する新しいフレームワークを開発することによって行います。

要約(オリジナル)

Denoising Diffusion Probabilistic Models (DDPM) are powerful state-of-the-art methods used to generate synthetic data from high-dimensional data distributions and are widely used for image, audio and video generation as well as many more applications in science and beyond. The manifold hypothesis states that high-dimensional data often lie on lower-dimensional manifolds within the ambient space, and is widely believed to hold in provided examples. While recent results has provided invaluable insight into how diffusion models adapt to the manifold hypothesis, they do not capture the great empirical success of these models, making this a very fruitful research direction. In this work, we study DDPMs under the manifold hypothesis and prove that they achieve rates independent of the ambient dimension in terms of learning the score. In terms of sampling, we obtain rates independent of the ambient dimension w.r.t. the Kullback-Leibler divergence, and $O(\sqrt{D})$ w.r.t. the Wasserstein distance. We do this by developing a new framework connecting diffusion models to the well-studied theory of extrema of Gaussian Processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google