The probability flow ODE is provably fast

要約

スコアベースの生成モデリングの確率フロー ODE 実装 (補正ステップとともに) に対して、最初の多項式時間収束保証を提供します。
私たちの分析は、SDE ベースの実装 (つまり、ノイズ除去拡散確率モデリングまたは DDPM) のそのような保証を得た最近の結果を受けて実行されますが、収縮性のない決定論的ダイナミクスを研究するための新しい技術の開発が必要です。
不足減衰ランジュバン拡散に基づいて特別に選択された補正ステップを使用することにより、DDPM での以前の研究よりも優れた次元依存性が得られます ($O(\sqrt{d})$ 対 $O(d)$、
データ配布)、ODE フレームワークの潜在的な利点を強調しています。

要約(オリジナル)

We provide the first polynomial-time convergence guarantees for the probability flow ODE implementation (together with a corrector step) of score-based generative modeling. Our analysis is carried out in the wake of recent results obtaining such guarantees for the SDE-based implementation (i.e., denoising diffusion probabilistic modeling or DDPM), but requires the development of novel techniques for studying deterministic dynamics without contractivity. Through the use of a specially chosen corrector step based on the underdamped Langevin diffusion, we obtain better dimension dependence than prior works on DDPM ($O(\sqrt{d})$ vs. $O(d)$, assuming smoothness of the data distribution), highlighting potential advantages of the ODE framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google