Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models

要約

マルコフ拡散プロセスを逆に学習することでノイズを新しいデータ インスタンスに変換する拡散モデルは、現代の生成モデリングの基礎となっています。
その実践的な力は現在では広く認識されていますが、理論的な基礎はまだ成熟していません。
この研究では、(スタイン) スコア関数の信頼できる推定値へのアクセスを前提として、離散時間における拡散モデルのデータ生成プロセスの理解に向けた一連の非漸近理論を開発します。
一般的な決定論的サンプラー (確率フロー ODE に基づく) の場合、$1/T$ ($T$ は合計ステップ数) に比例する収束率を確立し、過去の結果を改善します。
別の主流の確率サンプラー (つまり、ノイズ除去拡散確率モデル (DDPM) の一種) では、最先端の理論と一致する $1/\sqrt{T}$ に比例する収束率を導出します。
私たちの理論は、ターゲット データ分布に最小限の仮定のみを課し (たとえば、滑らかさの仮定は課されていません)、SDE や ODE のツールボックスに頼ることなく、初歩的でありながら汎用性の高い非漸近的アプローチに基づいて開発されています。
さらに、ODE ベースのサンプラーでは $1/T^2$ に、DDPM タイプのサンプラーでは $1/T$ に収束を改善する 2 つの高速化バリアントを設計します。これは独立した理論的および経験的に興味深いものになる可能性があります。

要約(オリジナル)

Diffusion models, which convert noise into new data instances by learning to reverse a Markov diffusion process, have become a cornerstone in contemporary generative modeling. While their practical power has now been widely recognized, the theoretical underpinnings remain far from mature. In this work, we develop a suite of non-asymptotic theory towards understanding the data generation process of diffusion models in discrete time, assuming access to reliable estimates of the (Stein) score functions. For a popular deterministic sampler (based on the probability flow ODE), we establish a convergence rate proportional to $1/T$ (with $T$ the total number of steps), improving upon past results; for another mainstream stochastic sampler (i.e., a type of the denoising diffusion probabilistic model (DDPM)), we derive a convergence rate proportional to $1/\sqrt{T}$, matching the state-of-the-art theory. Our theory imposes only minimal assumptions on the target data distribution (e.g., no smoothness assumption is imposed), and is developed based on an elementary yet versatile non-asymptotic approach without resorting to toolboxes for SDEs and ODEs. Further, we design two accelerated variants, improving the convergence to $1/T^2$ for the ODE-based sampler and $1/T$ for the DDPM-type sampler, which might be of independent theoretical and empirical interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google