Convergence for score-based generative modeling with polynomial complexity

要約

【タイトル】多項式の計算量によるスコアベース生成モデルの収束

【要約】スコアベース生成モデル（SGM）は、データから確率分布を学び、さらにサンプルを生成するための非常に成功したアプローチである。本研究では、$L^2(p)$の正確なスコア推定（$\nabla \ln p$の推定値）が与えられた場合に、確率密度$p$からサンプルを抽出する、SGMの中心的なメカニックに対する初の多項式収束保証を証明する。以前の研究に比べ、時間経過に指数的な増加が生じるエラーや次元の呪いに苦しむことがない。保証は、どんな滑らかな分布でも多項式の対数ソボレフ定数に依存する。この保証を使用して、ホワイトノイズ入力を使用して異なるノイズスケールでのスコア推定を行い、学習されたデータ分布からサンプルを生成する、スコアベース生成モデリングの理論的な分析を行う。本研究により、実際にはアニール手順が必要であるという観察結果が理論的に根拠付けされ、証明には各ステップでウォームスタートを得るためにアニーリングが必要である。さらに、予測子補正アルゴリズムが、それぞれ単独で使用するよりもより収束が良いことを示す。

要約(オリジナル)

Score-based generative modeling (SGM) is a highly successful approach for learning a probability distribution from data and generating further samples. We prove the first polynomial convergence guarantees for the core mechanic behind SGM: drawing samples from a probability density $p$ given a score estimate (an estimate of $\nabla \ln p$) that is accurate in $L^2(p)$. Compared to previous works, we do not incur error that grows exponentially in time or that suffers from a curse of dimensionality. Our guarantee works for any smooth distribution and depends polynomially on its log-Sobolev constant. Using our guarantee, we give a theoretical analysis of score-based generative modeling, which transforms white-noise input into samples from a learned data distribution given score estimates at different noise scales. Our analysis gives theoretical grounding to the observation that an annealed procedure is required in practice to generate good samples, as our proof depends essentially on using annealing to obtain a warm start at each step. Moreover, we show that a predictor-corrector algorithm gives better convergence than using either portion alone.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI