On Calibrating Diffusion Probabilistic Models

要約

最近、拡散確率モデル (DPM) は、多様な生成タスクで有望な結果を達成しています。
典型的な DPM フレームワークには、データ分布を徐々に拡散させるフォワード プロセスと、時間依存のデータ スコアからデータ分布を復元するリバース プロセスが含まれます。
この作業では、データ スコアの確率的逆過程がマーチンゲールであり、そこから濃度限界とデータ スコアのオプションの停止定理を導出できることがわかります。
次に、任意の事前トレーニング済み DPM を調整する簡単な方法を発見します。これにより、スコア マッチングの損失を減らすことができ、その結果、モデルの可能性の下限を増やすことができます。
さまざまなモデルのパラメータ化の下で、一般的なキャリブレーション ガイドラインを提供します。
私たちのキャリブレーション方法は一度だけ実行され、結果のモデルはサンプリングに繰り返し使用できます。
複数のデータセットで実験を行い、提案を実証的に検証します。
コードは https://github.com/thudzj/Calibrated-DPMs にあります。

要約(オリジナル)

Recently, diffusion probabilistic models (DPMs) have achieved promising results in diverse generative tasks. A typical DPM framework includes a forward process that gradually diffuses the data distribution and a reverse process that recovers the data distribution from time-dependent data scores. In this work, we observe that the stochastic reverse process of data scores is a martingale, from which concentration bounds and the optional stopping theorem for data scores can be derived. Then, we discover a simple way for calibrating an arbitrary pretrained DPM, with which the score matching loss can be reduced and the lower bounds of model likelihood can consequently be increased. We provide general calibration guidelines under various model parametrizations. Our calibration method is performed only once and the resulting models can be used repeatedly for sampling. We conduct experiments on multiple datasets to empirically validate our proposal. Our code is at https://github.com/thudzj/Calibrated-DPMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google