Low-dimensional adaptation of diffusion models: Convergence in total variation

要約

この論文では、拡散生成モデルが (未知の) 低次元構造を利用してサンプリングを加速する方法を調査します。
2 つの主流のサンプラー、ノイズ除去拡散暗黙モデル (DDIM) とノイズ除去拡散確率モデル (DDPM) に焦点を当て、正確なスコア推定を仮定すると、それらの反復の複雑さが $k/\varepsilon のオーダー以下であることを証明します。
$ (対数係数まで)、$\varepsilon$ は総変動距離の精度、$k$ はターゲット分布の固有の次元です。
私たちの結果は、平滑性や対数凹面の仮定を必要とせずに、幅広いターゲット分布に適用できます。
さらに、低次元の適応を促進するために Ho et al.(2020) および Song et al.(2020) によって導入された係数の (ほぼ) 必要性を示唆する下限を開発します。
私たちの発見は、未知の低次元構造に対する DDIM 型サンプラーの適応性についての最初の厳密な証拠を提供し、全変動収束に関して最先端の DDPM 理論を改善します。

要約(オリジナル)

This paper investigates how diffusion generative models leverage (unknown) low-dimensional structure to accelerate sampling. Focusing on two mainstream samplers — the denoising diffusion implicit model (DDIM) and the denoising diffusion probabilistic model (DDPM) — and assuming accurate score estimates, we prove that their iteration complexities are no greater than the order of $k/\varepsilon$ (up to some log factor), where $\varepsilon$ is the precision in total variation distance and $k$ is some intrinsic dimension of the target distribution. Our results are applicable to a broad family of target distributions without requiring smoothness or log-concavity assumptions. Further, we develop a lower bound that suggests the (near) necessity of the coefficients introduced by Ho et al.(2020) and Song et al.(2020) in facilitating low-dimensional adaptation. Our findings provide the first rigorous evidence for the adaptivity of the DDIM-type samplers to unknown low-dimensional structure, and improve over the state-of-the-art DDPM theory regarding total variation convergence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google