SciRE-Solver: Efficient Sampling of Diffusion Probabilistic Models by Score-integrand Solver with Recursive Derivative Estimation

要約

拡散確率モデル (DPM) は、高忠実度の画像サンプルを生成できることで知られる強力なクラスの生成モデルです。
DPM の実装における主な課題は、サンプリング プロセスが遅いことです。
この作業では、DPM 用の高効率サンプラーを導入します。
具体的には、DPM のサンプリング プロセスに対応する拡散 ODE のスコアベースの厳密解パラダイムを提案します。これは、拡散 ODE を解くための数値アルゴリズムの開発に新しい視点を導入します。
効率的なサンプラーを実現するために、推定誤差を減らす再帰的微分推定 (RDE) 方法を提案します。
私たちが提案する解パラダイムとRDE法を用いて、拡散常微分方程式を解くための効率的なソルバー(SciRE-Solver)として、収束順序保証を備えたスコア積分関数ソルバーを提案します。
SciRE-Solver は、既存のトレーニング不要のサンプリング アルゴリズムと比較して、離散時間と連続時間の両方の DPM で限られた数のスコア関数評価 (NFE) で最先端 (SOTA) のサンプリング パフォーマンスを達成します。
たとえば、CIFAR10 の連続時間 DPM では、それぞれ $12$ NFE で $3.48$ FID、$20$ NFE で $2.42$ FID を達成します。
他のサンプラーとは異なり、SciRE-Solver には、小さな NFE を使用した一部の事前トレーニング済みモデルの元の論文で達成された FID を超える有望な可能性があります。
たとえば、連続時間 DPM の場合は $100$ NFE で $2.40$ FID、CIFAR-10 の離散時間 DPM では $84$ NFE で $3.15$ FID、さらに $2.17$ ($2.02$) FID の SOTA 値に達します。
CelebA の離散時間 DPM の $18$ ($50$) NFE は 64$\times$64 です。

要約(オリジナル)

Diffusion probabilistic models (DPMs) are a powerful class of generative models known for their ability to generate high-fidelity image samples. A major challenge in the implementation of DPMs is the slow sampling process. In this work, we bring a high-efficiency sampler for DPMs. Specifically, we propose a score-based exact solution paradigm for the diffusion ODEs corresponding to the sampling process of DPMs, which introduces a new perspective on developing numerical algorithms for solving diffusion ODEs. To achieve an efficient sampler, we propose a recursive derivative estimation (RDE) method to reduce the estimation error. With our proposed solution paradigm and RDE method, we propose the score-integrand solver with the convergence order guarantee as efficient solver (SciRE-Solver) for solving diffusion ODEs. The SciRE-Solver attains state-of-the-art (SOTA) sampling performance with a limited number of score function evaluations (NFE) on both discrete-time and continuous-time DPMs in comparison to existing training-free sampling algorithms. Such as, we achieve $3.48$ FID with $12$ NFE and $2.42$ FID with $20$ NFE for continuous-time DPMs on CIFAR10, respectively. Different from other samplers, SciRE-Solver has the promising potential to surpass the FIDs achieved in the original papers of some pre-trained models with a small NFEs. For example, we reach SOTA value of $2.40$ FID with $100$ NFE for continuous-time DPM and of $3.15$ FID with $84$ NFE for discrete-time DPM on CIFAR-10, as well as of $2.17$ ($2.02$) FID with $18$ ($50$) NFE for discrete-time DPM on CelebA 64$\times$64.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google