SEEDS: Exponential SDE Solvers for Fast High-Quality Sampling from Diffusion Models

要約

拡散確率モデル (DPM) として知られる強力なクラスの生成モデルが注目を集めています。
順拡散プロセスではデータに徐々にノイズが追加され、モデルは徐々にノイズを除去することを学習します。
事前トレーニングされた DPM からのサンプリングは、学習されたモデルによって定義された微分方程式 (DE) を解くことによって取得されますが、このプロセスは法外に遅いことがわかっています。
このプロセスを高速化するための多くの取り組みは、強力な ODE ソルバーを作成することにありました。
このようなソルバーは高速であるにもかかわらず、通常、利用可能な遅い SDE ソルバーが達成する最適な品質には達しません。
私たちの目標は、目標を達成するために数百または数千の NFE を必要とせずに最適な品質を達成する SDE ソルバーを提案することです。
この研究では、いくつかのフレームワークで確率的ケースに対する指数積分器のアプローチを改善および一般化する、確率的指数微分フリー ソルバー (SEEDS) を提案します。
拡散 SDE の正確な解の定式化を注意深く分析した後、そのような解の線形部分を分析的に計算する SEEDS を作成します。
指数時間差法からインスピレーションを得た SEEDS は、解の確率成分の新しい処理を使用して、その分散の分析計算を可能にし、最適な品質のサンプリングを可能にする高次項を含んでいます $\sim3$-$5\times$
以前の SDE メソッドよりも高速です。
いくつかの画像生成ベンチマークでアプローチを検証し、SEEDS が以前の SDE ソルバーよりも優れたパフォーマンスを発揮するか、競合できることを示しました。
後者とは対照的に、SEEDS は派生的でトレーニングが不要であり、それらに対する強力な収束保証が完全に証明されています。

要約(オリジナル)

A potent class of generative models known as Diffusion Probabilistic Models (DPMs) has become prominent. A forward diffusion process adds gradually noise to data, while a model learns to gradually denoise. Sampling from pre-trained DPMs is obtained by solving differential equations (DE) defined by the learnt model, a process which has shown to be prohibitively slow. Numerous efforts on speeding-up this process have consisted on crafting powerful ODE solvers. Despite being quick, such solvers do not usually reach the optimal quality achieved by available slow SDE solvers. Our goal is to propose SDE solvers that reach optimal quality without requiring several hundreds or thousands of NFEs to achieve that goal. In this work, we propose Stochastic Exponential Derivative-free Solvers (SEEDS), improving and generalizing Exponential Integrator approaches to the stochastic case on several frameworks. After carefully analyzing the formulation of exact solutions of diffusion SDEs, we craft SEEDS to analytically compute the linear part of such solutions. Inspired by the Exponential Time-Differencing method, SEEDS uses a novel treatment of the stochastic components of solutions, enabling the analytical computation of their variance, and contains high-order terms allowing to reach optimal quality sampling $\sim3$-$5\times$ faster than previous SDE methods. We validate our approach on several image generation benchmarks, showing that SEEDS outperforms or is competitive with previous SDE solvers. Contrary to the latter, SEEDS are derivative and training free, and we fully prove strong convergence guarantees for them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google