Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent

要約

不完全なスコア マッチングは、トレーニングと拡散モデルのサンプリング分布の間のシフトにつながります。
生成プロセスの再帰的な性質により、前のステップでエラーが発生すると、トレーニング分布から離れたサンプリング反復が生成されます。
しかし、Denoising Score Matching (DSM) による標準的なトレーニング目標は、ドリフトされていないデータを最適化するように設計されています。
ドリフトされたデータで訓練するために、\emph{consistency} プロパティを強制することを提案します。これは、独自に生成されたデータに対するモデルの予測が時間の経過とともに一貫していることを示します。
理論的には、(DSM を介して) ドリフトしていないポイントでスコアが完全に学習され、一貫性プロパティがどこでも適用される場合、スコアはどこでも正確に学習されることを示します。
経験的に、私たちの新しいトレーニング目標は、CIFAR-10 の条件付きおよび無条件の生成と、AFHQ および FFHQ のベースラインの改善に最先端の結果をもたらすことを示しています。
コードとモデルをオープンソース化しています: https://github.com/giannisdaras/cdm

要約(オリジナル)

Imperfect score-matching leads to a shift between the training and the sampling distribution of diffusion models. Due to the recursive nature of the generation process, errors in previous steps yield sampling iterates that drift away from the training distribution. Yet, the standard training objective via Denoising Score Matching (DSM) is only designed to optimize over non-drifted data. To train on drifted data, we propose to enforce a \emph{consistency} property which states that predictions of the model on its own generated data are consistent across time. Theoretically, we show that if the score is learned perfectly on some non-drifted points (via DSM) and if the consistency property is enforced everywhere, then the score is learned accurately everywhere. Empirically we show that our novel training objective yields state-of-the-art results for conditional and unconditional generation in CIFAR-10 and baseline improvements in AFHQ and FFHQ. We open-source our code and models: https://github.com/giannisdaras/cdm

arxiv情報

提供元, 利用サービス

arxiv.jp, Google