Adapting to Unknown Low-Dimensional Structures in Score-Based Diffusion Models

要約

この論文では、基礎となるターゲット分布が、それらが形式的に存在する高次元空間内の低次元多様体上またはその近くに集中している場合、つまり自然画像分布の一般的な特徴であるスコアベースの拡散モデルを調査します。
拡散モデルのデータ生成プロセスを理解するためのこれまでの取り組みにもかかわらず、低次元構造の存在下では既存の理論的裏付けは依然として非常に最適ではなく、この論文でそれを強化します。
一般的なノイズ除去拡散確率モデル (DDPM) では、各ノイズ除去ステップ内で発生する誤差が周囲次元 $d$ に依存することは一般に避けられないことがわかります。
さらに、$O(k^{2}/\sqrt{T})$ (対数因数まで) のオーダーの収束率をもたらす独自の係数設計を特定します。ここで、$k$ は、関数の固有次元です。
ターゲット分布、$T$ はステップ数です。
これは、DDPM サンプラーがターゲット分布内の未知の低次元構造に適応できることを初めて理論的に実証したものであり、係数設計の重要性が強調されています。
これらすべては、より決定論的な方法でアルゴリズムのダイナミクスを特徴付ける一連の新しい分析ツールによって実現されます。

要約(オリジナル)

This paper investigates score-based diffusion models when the underlying target distribution is concentrated on or near low-dimensional manifolds within the higher-dimensional space in which they formally reside, a common characteristic of natural image distributions. Despite previous efforts to understand the data generation process of diffusion models, existing theoretical support remains highly suboptimal in the presence of low-dimensional structure, which we strengthen in this paper. For the popular Denoising Diffusion Probabilistic Model (DDPM), we find that the dependency of the error incurred within each denoising step on the ambient dimension $d$ is in general unavoidable. We further identify a unique design of coefficients that yields a converges rate at the order of $O(k^{2}/\sqrt{T})$ (up to log factors), where $k$ is the intrinsic dimension of the target distribution and $T$ is the number of steps. This represents the first theoretical demonstration that the DDPM sampler can adapt to unknown low-dimensional structures in the target distribution, highlighting the critical importance of coefficient design. All of this is achieved by a novel set of analysis tools that characterize the algorithmic dynamics in a more deterministic manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google