Minimax Optimality of the Probability Flow ODE for Diffusion Models

要約

スコアベースの拡散モデルは、最新の生成モデリングの基礎パラダイムになり、複雑な高次元分布からサンプルを生成する際の例外的な能力を示しています。
確率フローオードベースのサンプラーが優れたサンプリング効率と精度のために、実際にはオードベースのサンプラーが支配的に採用されているにもかかわらず、これらの方法の厳格な統計的保証は文献ではとらえどころのないままです。
この作業は、ターゲットデータ分布に関する軽度の仮定の下でほぼミニマックスの最適保証を確立する決定論的オードベースのサンプラーのための最初のエンドツーエンドの理論的フレームワークを開発します。
具体的には、$ \ beta $ -h \ ‘$ \ beta \ leq 2 $の古い滑らかな密度を備えたサブガウス分布に焦点を当てて、$ l^2 $スコアエラーと関連する平均jacobianエラーの両方を同時に制御するスムーズな正規化スコア推定器を提案します。
ODEベースのサンプリングプロセスの洗練された収束分析内でこの推定器を活用すると、結果のサンプラーが総変動距離、モジュロ対数因子でミニマックスレートを達成することを示します。
特に、我々の理論は、サンプリングプロセスのすべてのエラー源を包括的に説明しており、標的分布の密度下限やリプシッツ/スムーズスコアなどの強力な構造条件を必要としないため、幅広い実用的なデータ分布をカバーしています。

要約(オリジナル)

Score-based diffusion models have become a foundational paradigm for modern generative modeling, demonstrating exceptional capability in generating samples from complex high-dimensional distributions. Despite the dominant adoption of probability flow ODE-based samplers in practice due to their superior sampling efficiency and precision, rigorous statistical guarantees for these methods have remained elusive in the literature. This work develops the first end-to-end theoretical framework for deterministic ODE-based samplers that establishes near-minimax optimal guarantees under mild assumptions on target data distributions. Specifically, focusing on subgaussian distributions with $\beta$-H\’older smooth densities for $\beta\leq 2$, we propose a smooth regularized score estimator that simultaneously controls both the $L^2$ score error and the associated mean Jacobian error. Leveraging this estimator within a refined convergence analysis of the ODE-based sampling process, we demonstrate that the resulting sampler achieves the minimax rate in total variation distance, modulo logarithmic factors. Notably, our theory comprehensively accounts for all sources of error in the sampling process and does not require strong structural conditions such as density lower bounds or Lipschitz/smooth scores on target distributions, thereby covering a broad range of practical data distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google