Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data

要約

拡散モデルは、さまざまな生成タスクで最先端のパフォーマンスを実現します。
しかし、彼らの理論的基礎ははるかに遅れています。
この論文では、データが未知の低次元線形部分空間でサポートされている場合の、拡散モデルのスコア近似、推定、および分布回復について研究しています。
私たちの結果は、拡散モデルを使用した分布推定のサンプルの複雑さの境界を提供します。
適切に選択されたニューラル ネットワーク アーキテクチャを使用すると、スコア関数を正確に近似し、効率的に推定できることを示します。
さらに、推定されたスコア関数に基づいて生成された分布は、データの幾何学的構造を捉え、データ分布のごく近傍に収束します。
収束率は部分空間の次元に依存し、拡散モデルがデータ周囲次元の呪いを回避できることを示しています。

要約(オリジナル)

Diffusion models achieve state-of-the-art performance in various generation tasks. However, their theoretical foundations fall far behind. This paper studies score approximation, estimation, and distribution recovery of diffusion models, when data are supported on an unknown low-dimensional linear subspace. Our result provides sample complexity bounds for distribution estimation using diffusion models. We show that with a properly chosen neural network architecture, the score function can be both accurately approximated and efficiently estimated. Furthermore, the generated distribution based on the estimated score function captures the data geometric structures and converges to a close vicinity of the data distribution. The convergence rate depends on the subspace dimension, indicating that diffusion models can circumvent the curse of data ambient dimensionality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google