Diffusion models for Gaussian distributions: Exact solutions and Wasserstein errors

要約

拡散またはスコアベースのモデルは、最近、画像生成において高いパフォーマンスを示しました。
これらは、順方向および逆方向の確率微分方程式 (SDE) に依存します。
データ分布のサンプリングは、逆方向 SDE またはそれに関連するフロー ODE を数値的に解くことによって実現されます。
これらのモデルの収束を研究するには、初期化エラー、切り捨てエラー、離散化、スコア近似という 4 つの異なるタイプのエラーを制御する必要があります。
この論文では、データ分布がガウス分布である場合の拡散モデルの動作とその数値実装を理論的に研究します。
スコア関数が線形演算子であるこの制限されたフレームワークでは、前方および後方 SDE および関連するフロー ODE の解析解を導出できます。
これにより、さまざまな Wasserstein エラーの正確な表現が提供され、あらゆるサンプリング スキームの各エラー タイプの影響を比較できるようになり、インセプション機能に依存するのではなく、データ空間で直接収束を監視できるようになります。
私たちの実験では、拡散モデルの文献から推奨されている数値スキームがガウス分布にとって最適なサンプリング スキームでもあることが示されています。

要約(オリジナル)

Diffusion or score-based models recently showed high performance in image generation. They rely on a forward and a backward stochastic differential equations (SDE). The sampling of a data distribution is achieved by solving numerically the backward SDE or its associated flow ODE. Studying the convergence of these models necessitates to control four different types of error: the initialization error, the truncation error, the discretization and the score approximation. In this paper, we study theoretically the behavior of diffusion models and their numerical implementation when the data distribution is Gaussian. In this restricted framework where the score function is a linear operator, we can derive the analytical solutions of the forward and backward SDEs as well as the associated flow ODE. This provides exact expressions for various Wasserstein errors which enable us to compare the influence of each error type for any sampling scheme, thus allowing to monitor convergence directly in the data space instead of relying on Inception features. Our experiments show that the recommended numerical schemes from the diffusion models literature are also the best sampling schemes for Gaussian distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google