Provable acceleration for diffusion models under minimal assumptions

要約

スコアベースの拡散モデルは優れたサンプリング品質を実現していますが、スコア関数評価の高い計算負荷によってサンプリング速度が制限されることがよくあります。
スコアベースのサンプラーの高速化における最近の目覚ましい経験的進歩にもかかわらず、高速化技術の理論的理解は依然として大幅に制限されています。
このギャップを埋めるために、確率的サンプラーのためのトレーニング不要の新しい加速スキームを提案します。
最小限の仮定、つまり、$L^2$ 精度のスコア推定とターゲット分布の有限二次モーメント条件の下で、加速サンプラーは $\widetilde{O} 内の合計変動において $\varepsilon$ 精度を達成することが証明されています。
(d^{5/4}/\sqrt{\varepsilon})$ 反復により、標準スコアベースのサンプラーの $\widetilde{O}(d/\varepsilon)$ 反復の複雑さが大幅に改善されます。
特に、私たちの収束理論は、ターゲット分布や高次のスコア推定の保証に関する限定的な仮定に依存していません。

要約(オリジナル)

While score-based diffusion models have achieved exceptional sampling quality, their sampling speeds are often limited by the high computational burden of score function evaluations. Despite the recent remarkable empirical advances in speeding up the score-based samplers, theoretical understanding of acceleration techniques remains largely limited. To bridge this gap, we propose a novel training-free acceleration scheme for stochastic samplers. Under minimal assumptions — namely, $L^2$-accurate score estimates and a finite second-moment condition on the target distribution — our accelerated sampler provably achieves $\varepsilon$-accuracy in total variation within $\widetilde{O}(d^{5/4}/\sqrt{\varepsilon})$ iterations, thereby significantly improving upon the $\widetilde{O}(d/\varepsilon)$ iteration complexity of standard score-based samplers. Notably, our convergence theory does not rely on restrictive assumptions on the target distribution or higher-order score estimation guarantees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google