Provable Acceleration for Diffusion Models under Minimal Assumptions

要約

スコアベースの拡散モデルは、サンプリングに最小限の最適性を達成しますが、スコア関数評価の高い計算負荷により、サンプリング速度が遅いことによって妨げられることがよくあります。
スコアベースのサンプラーの高速化における最近の顕著な経験的進歩にもかかわらず、加速技術の理論的理解はほとんど限られたままです。
このギャップを埋めるために、確率的サンプラーの新しいトレーニングなしの加速スキームを提案します。
最小限の仮定の下で – すなわち、$ l^2 $ accurateスコアの推定値とターゲット分布の有限2番目のモーメント条件 – 加速サンプラーは、$ \ widetilde {o}（d^{5/4}/\ sqrt {epsilon {o}（d^{5/4}（d^{5/4}）内で$ \ widetilde {o}（d^{5/4}）内の総変化を実証することが証明されます。
$ \ widetilde {o}（d/\ varepsilon）$反復$ \ varepsilon \ leq 1/\ sqrt {d} $の標準スコアベースのサンプラーの複雑さを大幅に改善します。
特に、私たちの収束理論は、ターゲット分布または高次スコア推定保証に関する制限的な仮定に依存していません。

要約(オリジナル)

Score-based diffusion models, while achieving minimax optimality for sampling, are often hampered by slow sampling speeds due to the high computational burden of score function evaluations. Despite the recent remarkable empirical advances in speeding up the score-based samplers, theoretical understanding of acceleration techniques remains largely limited. To bridge this gap, we propose a novel training-free acceleration scheme for stochastic samplers. Under minimal assumptions — namely, $L^2$-accurate score estimates and a finite second-moment condition on the target distribution — our accelerated sampler provably achieves $\varepsilon$-accuracy in total variation within $\widetilde{O}(d^{5/4}/\sqrt{\varepsilon})$ iterations, thereby significantly improving upon the $\widetilde{O}(d/\varepsilon)$ iteration complexity of standard score-based samplers for $\varepsilon\leq 1/\sqrt{d}$. Notably, our convergence theory does not rely on restrictive assumptions on the target distribution or higher-order score estimation guarantees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google