Improved Convergence of Score-Based Diffusion Models via Prediction-Correction

要約

スコアベースの生成モデル (SGM) は、複雑なデータ分布からサンプリングするための強力なツールです。
彼らの基本的なアイデアは、(i) データにノイズを追加することで $T_1$ 時間順方向プロセスを実行し、(ii) そのスコア関数を推定し、(iii) その推定値を使用して逆方向プロセスを実行することです。
逆方向プロセスは順方向プロセスの定常分布で初期化されるため、既存の分析パラダイムでは $T_1\to\infty$ が必要です。
ただし、これには問題があります。理論的な観点から、スコア近似の特定の精度では、$T_1$ が発散するため、収束保証は失敗します。
実際的な観点から見ると、$T_1$ が大きいと計算コストが増加し、エラーの伝播につながります。
この論文では、一般的な予測子補正スキームのバージョンを考慮することで問題に対処します。つまり、順方向プロセスを実行した後、最初に不正確なランジュバン力学によって最終分布を推定し、次にプロセスを元に戻します。
私たちの主な技術的貢献は、有限時間 $T_1$ のみ前方プロセスを実行する必要があるワッサーシュタイン距離での収束保証を提供することです。
私たちの境界は、入力次元とターゲット分布のサブガウス ノルムに対して緩やかな対数依存性を示し、データに対する仮定は最小限であり、スコア近似における $L^2$ 損失 (つまり、最小化された量) を制御することだけが必要です。
練習。

要約(オリジナル)

Score-based generative models (SGMs) are powerful tools to sample from complex data distributions. Their underlying idea is to (i) run a forward process for time $T_1$ by adding noise to the data, (ii) estimate its score function, and (iii) use such estimate to run a reverse process. As the reverse process is initialized with the stationary distribution of the forward one, the existing analysis paradigm requires $T_1\to\infty$. This is however problematic: from a theoretical viewpoint, for a given precision of the score approximation, the convergence guarantee fails as $T_1$ diverges; from a practical viewpoint, a large $T_1$ increases computational costs and leads to error propagation. This paper addresses the issue by considering a version of the popular predictor-corrector scheme: after running the forward process, we first estimate the final distribution via an inexact Langevin dynamics and then revert the process. Our key technical contribution is to provide convergence guarantees in Wasserstein distance which require to run the forward process only for a finite time $T_1$. Our bounds exhibit a mild logarithmic dependence on the input dimension and the subgaussian norm of the target distribution, have minimal assumptions on the data, and require only to control the $L^2$ loss on the score approximation, which is the quantity minimized in practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google