A Score-Based Density Formula, with Applications in Diffusion Generative Models

要約

スコアベースの生成モデル (SGM) は生成モデリングの分野に革命をもたらし、現実的で多様なコンテンツの生成において前例のない成功を収めました。
経験的な進歩にもかかわらず、DDPM などの拡散生成モデルのトレーニングに対数尤度の証拠下限 (ELBO) の最適化が効果的である理由の理論的根拠は、ほとんど解明されていないままです。
この論文では、連続時間拡散プロセスの密度公式を確立することでこの問題に取り組みます。これは、SGM における前進プロセスの連続時間限界とみなすことができます。
この式は、ターゲット密度と、フォワード プロセスの各ステップに関連付けられたスコア関数の間の関係を明らかにします。
これに基づいて、DDPM をトレーニングするための最適化目標の最小値が真の目標の最小値とほぼ一致することを実証し、ELBO を使用して DDPM を最適化するための理論的基盤を提供します。
さらに、GAN のトレーニングにおけるスコアマッチング正則化の役割、拡散分類器での ELBO の使用、および最近提案された拡散損失についての新しい洞察を提供します。

要約(オリジナル)

Score-based generative models (SGMs) have revolutionized the field of generative modeling, achieving unprecedented success in generating realistic and diverse content. Despite empirical advances, the theoretical basis for why optimizing the evidence lower bound (ELBO) on the log-likelihood is effective for training diffusion generative models, such as DDPMs, remains largely unexplored. In this paper, we address this question by establishing a density formula for a continuous-time diffusion process, which can be viewed as the continuous-time limit of the forward process in an SGM. This formula reveals the connection between the target density and the score function associated with each step of the forward process. Building on this, we demonstrate that the minimizer of the optimization objective for training DDPMs nearly coincides with that of the true objective, providing a theoretical foundation for optimizing DDPMs using the ELBO. Furthermore, we offer new insights into the role of score-matching regularization in training GANs, the use of ELBO in diffusion classifiers, and the recently proposed diffusion loss.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google