Dimension-free Score Matching and Time Bootstrapping for Diffusion Models

要約

拡散モデルは、さまざまなノイズレベルでターゲット分布のスコア関数を推定することにより、サンプルを生成します。
このモデルは、ターゲット分布から描かれたサンプルを使用してトレーニングされ、徐々にノイズを追加します。
この作業では、これらのスコア関数を学習するための最初の（ほぼ）寸法のないサンプルの複雑さの境界を確立し、以前の結果よりも次元の二重の指数的改善を達成します。
分析の重要な側面は、単一の関数近似器を使用して、ノイズレベル全体でスコアを共同で推定することです。これは、タイムステップ全体の一般化を可能にする拡散モデルの重要な特徴です。
私たちの分析では、新しいMartingaleベースのエラー分解と急激な分散境界を導入し、Markovプロセスによって生成された従属データから効率的な学習を可能にします。
これらの洞察に基づいて、ブートストラップスコアマッチング（BSM）を提案します。これは、以前に学習したスコアを利用してより高いノイズレベルで精度を向上させる分散削減手法です。
これらの結果は、生成モデリングのための拡散モデルの効率と有効性に関する重要な洞察を提供します。

要約(オリジナル)

Diffusion models generate samples by estimating the score function of the target distribution at various noise levels. The model is trained using samples drawn from the target distribution, progressively adding noise. In this work, we establish the first (nearly) dimension-free sample complexity bounds for learning these score functions, achieving a double exponential improvement in dimension over prior results. A key aspect of our analysis is the use of a single function approximator to jointly estimate scores across noise levels, a critical feature of diffusion models in practice which enables generalization across timesteps. Our analysis introduces a novel martingale-based error decomposition and sharp variance bounds, enabling efficient learning from dependent data generated by Markov processes, which may be of independent interest. Building on these insights, we propose Bootstrapped Score Matching (BSM), a variance reduction technique that utilizes previously learned scores to improve accuracy at higher noise levels. These results provide crucial insights into the efficiency and effectiveness of diffusion models for generative modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google