Non-asymptotic Convergence of Discrete-time Diffusion Models: New Approach and Improved Rate

要約

ノイズ除去拡散モデルは、ノイズをデータに変換する強力な生成技術として最近登場しました。
理論的な収束保証は、主に連続時間拡散モデルについて研究されており、離散時間拡散モデルについては、文献に限定されたサポートがある分布についてのみ得られています。
この論文では、離散時間拡散モデルの下でかなり大きなクラスの分布に対する収束保証を確立し、有界サポートを使用して分布の収束率をさらに向上させます。
特に、最初に、有限の二次モーメントを持つ滑らかな分布と一般的な (おそらく非滑らかな) 分布の両方の収束率を確立します。
次に、結果を、リプシッツ スコアを含む分布、混合ガウス分布、および制限付きサポートを含む分布など、明示的なパラメーター依存関係を持つ多数の興味深いクラスの分布に特化します。
さらに、新しい加速サンプラーを提案し、それがすべてのシステム パラメーターに関して、対応する通常のサンプラーの収束速度を桁違いに改善することを示します。
制限されたサポートを持つ分布の場合、結果は以前の収束率の次元依存性を桁違いに改善します。
私たちの研究は、収束誤差の傾斜係数表現を構築し、テイラー展開のべき乗項を処理するためにトゥイーディーの公式を活用する新しい解析手法を特徴としています。

要約(オリジナル)

The denoising diffusion model emerges recently as a powerful generative technique that converts noise into data. Theoretical convergence guarantee has been mainly studied for continuous-time diffusion models, and has been obtained for discrete-time diffusion models only for distributions with bounded support in the literature. In this paper, we establish the convergence guarantee for substantially larger classes of distributions under discrete-time diffusion models and further improve the convergence rate for distributions with bounded support. In particular, we first establish the convergence rates for both smooth and general (possibly non-smooth) distributions having finite second moment. We then specialize our results to a number of interesting classes of distributions with explicit parameter dependencies, including distributions with Lipschitz scores, Gaussian mixture distributions, and distributions with bounded support. We further propose a novel accelerated sampler and show that it improves the convergence rates of the corresponding regular sampler by orders of magnitude with respect to all system parameters. For distributions with bounded support, our result improves the dimensional dependence of the previous convergence rate by orders of magnitude. Our study features a novel analysis technique that constructs tilting factor representation of the convergence error and exploits Tweedie’s formula for handling Taylor expansion power terms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google