Reflected Diffusion Models

要約

・論文のタイトル：Reflected Diffusion Models
・要約：
– スコアに基づく拡散モデルは、データをノイズにマッピングする確率微分方程式を逆に学習することでデータ分布を生成できるようになるが、複雑なタスクでは数値誤差が加算され、非常に不自然なサンプルが得られることがあるため、これを防ぐためにしきい値を使用して自然データ領域に射影している。
– しかし、この方法は、トレーニングと生成プロセスの間に不一致が生じるため、原理的に矛盾する。
– そこで、データ制約を原理的に反映させるReflected Diffusion Modelsを提案する。
– このアプローチは、データのサポート上で進化する反射型確率微分方程式を逆に学習している。
– この方法は、拡散ガイダンス、尤度ベースのトレーニング、ODEサンプリングなど、標準的な拡散モデルの主要なコンポーネントを拡張する。
– また、しきい値との理論的なギャップを埋めることができ、このようなスキームは反射型SDEの離散化であることがわかる。
– 一般的な画像ベンチマークでは、当プロジェクトは最先端技術と競合するかそれを超える性能を発揮し、分類器フリーガイダンスの場合、ODEを使った高速な正確なサンプリングを可能にし、高いガイダンス重量下でもより信頼性の高いサンプルを生成することが可能になっている。

要約(オリジナル)

Score-based diffusion models learn to reverse a stochastic differential equation that maps data to noise. However, for complex tasks, numerical error can compound and result in highly unnatural samples. Previous work mitigates this drift with thresholding, which projects to the natural data domain (such as pixel space for images) after each diffusion step, but this leads to a mismatch between the training and generative processes. To incorporate data constraints in a principled manner, we present Reflected Diffusion Models, which instead reverse a reflected stochastic differential equation evolving on the support of the data. Our approach learns the perturbed score function through a generalize score matching loss and extends key components of standard diffusion models including diffusion guidance, likelihood-based training, and ODE sampling. We also bridge the theoretical gap with thresholding: such schemes are just discretizations of reflected SDEs. On standard image benchmarks, our method is competitive with or surpasses the state of the art and, for classifier-free guidance, our approach enables fast exact sampling with ODEs and produces more faithful samples under high guidance weight.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI