Convergence Analysis of Probability Flow ODE for Score-based Generative Models

要約

スコアベースの生成モデルは、高次元の確率分布をサンプリングするための強力なアプローチとして登場しました。
それらの有効性にもかかわらず、その理論的基盤は比較的未開発のままです。
この研究では、理論的および数値的観点の両方から、確率フロー ODE に基づく決定論的サンプラーの収束特性を研究します。
スコア関数の $L^2$ 精度の推定値にアクセスできると仮定すると、ターゲットと生成されたデータ分布の間の合計変動が $\mathcal{O}(d\sqrt{\delta})$ を超えて制限されることが証明されます。
連続時間レベルでは、$d$ はデータの次元を表し、$\delta$ は $L^2$ スコアのマッチング誤差を表します。
ステップサイズ $h$ の $p$ 次のルンゲ・クッタ積分器を使用した実際の実装では、$\mathcal{O}(d(\sqrt{\delta} + (dh)^p)) の誤差範囲を確立します。
$は離散レベルで。
最後に、我々の理論を検証するために、最大 $128$ 次元の問題に関する数値研究を提示します。これは、誤差と次元依存性のより良いスコアマッチングを示しています。

要約(オリジナル)

Score-based generative models have emerged as a powerful approach for sampling high-dimensional probability distributions. Despite their effectiveness, their theoretical underpinnings remain relatively underdeveloped. In this work, we study the convergence properties of deterministic samplers based on probability flow ODEs from both theoretical and numerical perspectives. Assuming access to $L^2$-accurate estimates of the score function, we prove the total variation between the target and the generated data distributions can be bounded above by $\mathcal{O}(d\sqrt{\delta})$ in the continuous time level, where $d$ denotes the data dimension and $\delta$ represents the $L^2$-score matching error. For practical implementations using a $p$-th order Runge-Kutta integrator with step size $h$, we establish error bounds of $\mathcal{O}(d(\sqrt{\delta} + (dh)^p))$ at the discrete level. Finally, we present numerical studies on problems up to $128$ dimensions to verify our theory, which indicate a better score matching error and dimension dependence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google