$O(d/T)$ Convergence Theory for Diffusion Probabilistic Models under Minimal Assumptions

要約

スコアベースの拡散モデルは、ターゲット分布からデータをノイズに混乱させる拡散プロセスを逆転させることを学習することで新しいデータを生成し、さまざまな生成タスクにわたって目覚ましい成功を収めています。
優れた経験的パフォーマンスにもかかわらず、既存の理論的保証は、多くの場合、厳しい仮定や次善の収束率によって制約されます。
このペーパーでは、最小限の仮定の下で、一般的な SDE ベースのサンプラーの高速収束理論を確立します。
私たちの分析は、スコア関数の $\ell_{2}$ 精度の推定値が与えられた場合、ターゲット分布と生成された分布の間の合計変動距離は $O(d/T)$ によって上限が定められることを示しています (対数係数は無視します)。
$d$ はデータの次元数、$T$ はステップ数です。
この結果は、有限の一次モーメントを持つ任意のターゲット分布に当てはまります。
私たちの知る限り、これは SDE ベースのサンプラーと別の ODE ベースのサンプラーの両方に対する既存の収束理論を改善し、ターゲット データの分布とスコア推定に最小限の仮定を課します。
これは、逆プロセスの各ステップでエラーがどのように伝播するかを詳細に特徴付ける一連の新しい分析ツールを通じて実現されます。

要約(オリジナル)

Score-based diffusion models, which generate new data by learning to reverse a diffusion process that perturbs data from the target distribution into noise, have achieved remarkable success across various generative tasks. Despite their superior empirical performance, existing theoretical guarantees are often constrained by stringent assumptions or suboptimal convergence rates. In this paper, we establish a fast convergence theory for a popular SDE-based sampler under minimal assumptions. Our analysis shows that, provided $\ell_{2}$-accurate estimates of the score functions, the total variation distance between the target and generated distributions is upper bounded by $O(d/T)$ (ignoring logarithmic factors), where $d$ is the data dimensionality and $T$ is the number of steps. This result holds for any target distribution with finite first-order moment. To our knowledge, this improves upon existing convergence theory for both the SDE-based sampler and another ODE-based sampler, while imposing minimal assumptions on the target data distribution and score estimates. This is achieved through a novel set of analytical tools that provides a fine-grained characterization of how the error propagates at each step of the reverse process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google