Accelerating Convergence of Score-Based Diffusion Models, Provably

要約

スコアベースの拡散モデルは、顕著な経験的パフォーマンスを達成しますが、サンプリング段階で広範な関数評価が必要となるため、サンプリング速度が遅いという問題がよくあります。
実際の拡散生成モデリングの高速化に向けた最近の活動が相次いでいるにもかかわらず、加速技術の理論的基盤は依然として厳しく制限されています。
この論文では、一般的な決定的 (つまり DDIM) および確率的 (つまり DDPM) サンプラーを高速化するための、トレーニング不要の新しいアルゴリズムを設計します。
加速された決定論的サンプラーは、$T$ のステップ数で $O(1/{T}^2)$ のレートで収束し、DDIM サンプラーの $O(1/T)$ レートを改善します。
そして、加速された確率的サンプラーはレート $O(1/T)$ で収束し、DDPM サンプラーのレート $O(1/\sqrt{T})$ を上回ります。
私たちのアルゴリズムの設計は高次近似からの洞察を活用しており、DPM-Solver-2 などの一般的な高次 ODE ソルバーと同様の直感を共有しています。
私たちの理論は $\ell_2$ 精度のスコア推定に対応しており、ターゲット分布の対数凹度や滑らかさは必要ありません。

要約(オリジナル)

Score-based diffusion models, while achieving remarkable empirical performance, often suffer from low sampling speed, due to extensive function evaluations needed during the sampling phase. Despite a flurry of recent activities towards speeding up diffusion generative modeling in practice, theoretical underpinnings for acceleration techniques remain severely limited. In this paper, we design novel training-free algorithms to accelerate popular deterministic (i.e., DDIM) and stochastic (i.e., DDPM) samplers. Our accelerated deterministic sampler converges at a rate $O(1/{T}^2)$ with $T$ the number of steps, improving upon the $O(1/T)$ rate for the DDIM sampler; and our accelerated stochastic sampler converges at a rate $O(1/T)$, outperforming the rate $O(1/\sqrt{T})$ for the DDPM sampler. The design of our algorithms leverages insights from higher-order approximation, and shares similar intuitions as popular high-order ODE solvers like the DPM-Solver-2. Our theory accommodates $\ell_2$-accurate score estimates, and does not require log-concavity or smoothness on the target distribution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google