Score-based generative models are provably robust: an uncertainty quantification perspective

要約

不確実性定量化 (UQ) の観点から、スコアベースの生成モデル (SGM) が実際の実装における複数の誤差要因に対して堅牢であることが証明されたことを示します。
私たちの主なツールは、スコア関数の学習による $L^2$ 誤差がどのように Wasserstein-1 ($\mathbf{d}_1$) に伝播するかを説明するモデル形式の UQ 限界である Wasserstein 不確実性伝播定理 (WUP) です。
フォッカー・プランク方程式の発展に基づく真のデータ分布を中心としたボール。
(a) 有限サンプル近似、(b) 早期停止、(c) スコアマッチングの目的の選択、(d) スコア関数のパラメータ化の表現力、および (e) 参照分布の選択による誤差が、生成の品質にどのように影響するかを示します。
計算可能な量の $\mathbf{d}_1$ 境界に関するモデル。
WUP 定理は、ハミルトン・ヤコビ・ベルマン偏微分方程式 (PDE) のバーンスタイン推定と拡散過程の正則化特性に依存しています。
具体的には、PDE 規則性理論は、確率性が SGM アルゴリズムの確実な堅牢性を保証する重要なメカニズムであることを示しています。
WUP 定理は、合計変動距離や最大平均不一致など、$\mathbf{d}_1$ を超える積分確率指標に適用されます。
$\mathbf{d}_1$ のサンプルの複雑さと汎化限界は、WUP の定理から直接得られます。
私たちのアプローチは最小限の仮定を必要とし、多様体仮説にとらわれず、ターゲット分布の絶対的な連続性の仮定を回避します。
さらに、私たちの結果は、SGM の複数のエラー原因間のトレードオフを明らかにします。

要約(オリジナル)

Through an uncertainty quantification (UQ) perspective, we show that score-based generative models (SGMs) are provably robust to the multiple sources of error in practical implementation. Our primary tool is the Wasserstein uncertainty propagation (WUP) theorem, a model-form UQ bound that describes how the $L^2$ error from learning the score function propagates to a Wasserstein-1 ($\mathbf{d}_1$) ball around the true data distribution under the evolution of the Fokker-Planck equation. We show how errors due to (a) finite sample approximation, (b) early stopping, (c) score-matching objective choice, (d) score function parametrization expressiveness, and (e) reference distribution choice, impact the quality of the generative model in terms of a $\mathbf{d}_1$ bound of computable quantities. The WUP theorem relies on Bernstein estimates for Hamilton-Jacobi-Bellman partial differential equations (PDE) and the regularizing properties of diffusion processes. Specifically, PDE regularity theory shows that stochasticity is the key mechanism ensuring SGM algorithms are provably robust. The WUP theorem applies to integral probability metrics beyond $\mathbf{d}_1$, such as the total variation distance and the maximum mean discrepancy. Sample complexity and generalization bounds in $\mathbf{d}_1$ follow directly from the WUP theorem. Our approach requires minimal assumptions, is agnostic to the manifold hypothesis and avoids absolute continuity assumptions for the target distribution. Additionally, our results clarify the trade-offs among multiple error sources in SGMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google