A Geometric Perspective on Diffusion Models

要約

近年、拡散モデルの効率的なトレーニングと高速サンプリングのアプローチの開発において大きな進歩が見られました。
最近の注目すべき進歩は、確率微分方程式 (SDE) を使用して、統一された数学的枠組みでデータの摂動と生成モデリングを記述することです。
この論文では、拡散モデルのいくつかの興味深い幾何学的構造を明らかにし、そのサンプリング ダイナミクスに対するシンプルかつ強力な解釈に貢献します。
一般的な分散爆発型 SDE とその周辺保存型常微分方程式 (ODE) をサンプリング用に注意深く検査することにより、データ分布とノイズ分布が陽的な準線形のサンプリング軌道と別の暗黙的なノイズ除去によって滑らかに接続されていることを発見しました。
視覚的な品質の点でもより速く収束します。
また、最適な ODE ベースのサンプリングと古典的な平均値シフト (モード シーキング) アルゴリズムの間の理論的関係も確立します。これにより、拡散モデルの漸近挙動を特徴付け、スコアの偏差を特定できます。
これらの新しい幾何学的な観察により、以前のサンプリング アルゴリズムを改善し、潜在補間を再検討し、蒸留ベースの高速サンプリング技術の動作原理を再説明することができます。

要約(オリジナル)

Recent years have witnessed significant progress in developing efficient training and fast sampling approaches for diffusion models. A recent remarkable advancement is the use of stochastic differential equations (SDEs) to describe data perturbation and generative modeling in a unified mathematical framework. In this paper, we reveal several intriguing geometric structures of diffusion models and contribute a simple yet powerful interpretation to their sampling dynamics. Through carefully inspecting a popular variance-exploding SDE and its marginal-preserving ordinary differential equation (ODE) for sampling, we discover that the data distribution and the noise distribution are smoothly connected with an explicit, quasi-linear sampling trajectory, and another implicit denoising trajectory, which even converges faster in terms of visual quality. We also establish a theoretical relationship between the optimal ODE-based sampling and the classic mean-shift (mode-seeking) algorithm, with which we can characterize the asymptotic behavior of diffusion models and identify the score deviation. These new geometric observations enable us to improve previous sampling algorithms, re-examine latent interpolation, as well as re-explain the working principles of distillation-based fast sampling techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google