ERA-Solver: Error-Robust Adams Solver for Fast Sampling of Diffusion Probabilistic Models

要約

ノイズ除去拡散確率モデル (DDPM) は注目すべき生成結果を達成しましたが、DDPM の低いサンプリング効率は、さらなるアプリケーションを制限します。
DDPM は拡散常微分方程式 (ODE) として定式化できるため、拡散 ODE を解くことでさまざまな高速サンプリング法を導き出すことができます。
ただし、固定された分析形式を使用した以前のサンプリング方法は、事前トレーニング済みの拡散モデルから推定されたノイズのエラーに対して堅牢ではないことに気付きました。
この作業では、予測子と修正子で構成される暗黙の Adams 数値法を利用するエラーロバスト Adams ソルバー (ERA-Solver) を構築します。
明示的な Adams 法に基づく従来の予測子とは異なり、ラグランジュ補間関数を予測子として活用します。これは、推定ノイズの誤差がより少ないラグランジュ基底を適応的に選択するためのエラーロバスト戦略でさらに強化されています。
Cifar10、LSUN-Church、および LSUN-Bedroom データセットに関する実験では、提案された ERA-Solver が、わずか 10 回のネットワーク評価で、画像生成に対して 5.14、9.42、および 9.69 の Fenchel Inception Distance (FID) を達成することが実証されています。

要約(オリジナル)

Though denoising diffusion probabilistic models (DDPMs) have achieved remarkable generation results, the low sampling efficiency of DDPMs still limits further applications. Since DDPMs can be formulated as diffusion ordinary differential equations (ODEs), various fast sampling methods can be derived from solving diffusion ODEs. However, we notice that previous sampling methods with fixed analytical form are not robust with the error in the noise estimated from pretrained diffusion models. In this work, we construct an error-robust Adams solver (ERA-Solver), which utilizes the implicit Adams numerical method that consists of a predictor and a corrector. Different from the traditional predictor based on explicit Adams methods, we leverage a Lagrange interpolation function as the predictor, which is further enhanced with an error-robust strategy to adaptively select the Lagrange bases with lower error in the estimated noise. Experiments on Cifar10, LSUN-Church, and LSUN-Bedroom datasets demonstrate that our proposed ERA-Solver achieves 5.14, 9.42, and 9.69 Fenchel Inception Distance (FID) for image generation, with only 10 network evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google