要約
我々は、拡散生成モデリングに用いられる決定論的サンプラーの非漸近的解析のためのフレームワークを開発する。最近のいくつかの研究では、Girsanovの定理や補間論の鎖法則の変形などのツールを用いて、確率的サンプラーを解析している。しかし、これらの手法は決定論的サンプラーに適用した場合、空虚な境界を与える。我々は、確率流ODEに沿った1つのステップが2つのステップとして表現できることを示すことで、決定論的サンプリングの新しい運用解釈を与える。1)限りなく前の時間における条件付き対数尤度の勾配上昇を実行する復元ステップ、2)現在のイテレートに戻るノイズを使用して前進プロセスを実行する劣化ステップである。この観点により、ノイズ除去拡散暗黙モデルを一般的な非線形前方過程に拡張することができる。そして、データ分布に関する穏やかな条件下で、これらのサンプラーの最初の多項式収束境界を開発する。
要約(オリジナル)
We develop a framework for non-asymptotic analysis of deterministic samplers used for diffusion generative modeling. Several recent works have analyzed stochastic samplers using tools like Girsanov’s theorem and a chain rule variant of the interpolation argument. Unfortunately, these techniques give vacuous bounds when applied to deterministic samplers. We give a new operational interpretation for deterministic sampling by showing that one step along the probability flow ODE can be expressed as two steps: 1) a restoration step that runs gradient ascent on the conditional log-likelihood at some infinitesimally previous time, and 2) a degradation step that runs the forward process using noise pointing back towards the current iterate. This perspective allows us to extend denoising diffusion implicit models to general, non-linear forward processes. We then develop the first polynomial convergence bounds for these samplers under mild conditions on the data distribution.
arxiv情報
| 著者 | Sitan Chen,Giannis Daras,Alexandros G. Dimakis |
| 発行日 | 2023-03-06 18:59:19+00:00 |
| arxivサイト | arxiv_id(pdf) |