DDPM Score Matching and Distribution Learning

要約

スコアの推定は、スコアベースの生成モデル（SGM）のバックボーン、特に拡散確率モデル（DDPMS）を除去します。
この領域の重要な結果は、正確なスコア推定で、SGMが現実的なデータ分布からサンプルを効率的に生成できることを示しています（Chen et al。、Iclr’23; Lee et al。、alt’23）。
学習された分布がサンプラーの出力の分布と暗黙的にある場合、この分布学習結果は、スコアの推定がパラメーターと密度の推定の古典的なタスクにどのように関連するかを説明していません。
このペーパーでは、これら2つのタスクのスコア推定を減らすフレームワークを紹介し、統計学習および計算学習理論にさまざまな意味を持ちます。パラメーター推定：Koehler et al。
（ICLR’23）スコアマッチングバリアントは、実際に一般的なマルチモーダル密度のパラメトリック推定に対して統計的に非効率的であることを示しています。
対照的に、穏やかな条件下では、DDPMSでのスコアマッチングの形成が漸近的に効率的であることを示しています。
密度の推定：生成をリンクするためにスコア推定をリンクすることにより、既存のスコア推定保証を$（\ epsilon、\ delta）$ – PAC密度推定、つまり、$ \ delta $ ractionを除くすべての$ \ epsilon $内のターゲットログ密度を近似する関数に$（\ epsilon、\ delta）$に持ち上げます。
（i）h \ ‘古いクラスにわたる密度推定のミニマックスレート、および（ii）古典的なガウス位置混合モデルの準正式PAC密度推定アルゴリズムを提供し、Gatmiry et al。
（arxiv’24）。
スコア推定の下限：私たちのフレームワークは、一般的な分布全体でスコア推定の計算下限を証明するための最初の原則的な方法を提供します。
アプリケーションとして、一般的なガウス混合モデルでスコア推定の暗号化の下限を確立し、概念的に曲（neurips’24）の結果を回復し、彼の重要なオープンな問題を促進します。

要約(オリジナル)

Score estimation is the backbone of score-based generative models (SGMs), especially denoising diffusion probabilistic models (DDPMs). A key result in this area shows that with accurate score estimates, SGMs can efficiently generate samples from any realistic data distribution (Chen et al., ICLR’23; Lee et al., ALT’23). This distribution learning result, where the learned distribution is implicitly that of the sampler’s output, does not explain how score estimation relates to classical tasks of parameter and density estimation. This paper introduces a framework that reduces score estimation to these two tasks, with various implications for statistical and computational learning theory: Parameter Estimation: Koehler et al. (ICLR’23) demonstrate that a score-matching variant is statistically inefficient for the parametric estimation of multimodal densities common in practice. In contrast, we show that under mild conditions, denoising score-matching in DDPMs is asymptotically efficient. Density Estimation: By linking generation to score estimation, we lift existing score estimation guarantees to $(\epsilon,\delta)$-PAC density estimation, i.e., a function approximating the target log-density within $\epsilon$ on all but a $\delta$-fraction of the space. We provide (i) minimax rates for density estimation over H\’older classes and (ii) a quasi-polynomial PAC density estimation algorithm for the classical Gaussian location mixture model, building on and addressing an open problem from Gatmiry et al. (arXiv’24). Lower Bounds for Score Estimation: Our framework offers the first principled method to prove computational lower bounds for score estimation across general distributions. As an application, we establish cryptographic lower bounds for score estimation in general Gaussian mixture models, conceptually recovering Song’s (NeurIPS’24) result and advancing his key open problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google