On Calibrating Diffusion Probabilistic Models

要約

最近、拡散確率モデル (DPM) は、さまざまな生成タスクにおいて有望な結果を達成しています。
一般的な DPM フレームワークには、データ分布を徐々に拡散させる順方向プロセスと、時間依存のデータ スコアからデータ分布を回復する逆方向プロセスが含まれます。
この研究では、データ スコアの確率的逆過程がマーチンゲールであることを観察し、そこから濃度限界とデータ スコアのオプションの停止定理を導き出すことができます。
次に、任意の事前トレーニング済み DPM を校正する簡単な方法を発見します。これにより、スコア マッチングの損失を軽減し、結果としてモデルの尤度の下限を高めることができます。
さまざまなモデルのパラメーター化に基づいて、一般的なキャリブレーション ガイドラインを提供します。
当社のキャリブレーション方法は 1 回だけ実行され、結果のモデルはサンプリングに繰り返し使用できます。
私たちの提案を経験的に検証するために、複数のデータセットで実験を実施します。
私たちのコードは https://github.com/thudzj/Calibrated-DPMs にあります。

要約(オリジナル)

Recently, diffusion probabilistic models (DPMs) have achieved promising results in diverse generative tasks. A typical DPM framework includes a forward process that gradually diffuses the data distribution and a reverse process that recovers the data distribution from time-dependent data scores. In this work, we observe that the stochastic reverse process of data scores is a martingale, from which concentration bounds and the optional stopping theorem for data scores can be derived. Then, we discover a simple way for calibrating an arbitrary pretrained DPM, with which the score matching loss can be reduced and the lower bounds of model likelihood can consequently be increased. We provide general calibration guidelines under various model parametrizations. Our calibration method is performed only once and the resulting models can be used repeatedly for sampling. We conduct experiments on multiple datasets to empirically validate our proposal. Our code is at https://github.com/thudzj/Calibrated-DPMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google