DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models

要約

拡散確率モデル (DPM) は、高解像度の画像合成、特に最近の大規模なテキストから画像への生成アプリケーションで印象的な成功を収めています。
DPM のサンプル品質を向上させるための重要な手法は、ガイド付きサンプリングです。これは通常、最高のサンプル品質を得るために大きなガイダンス スケールを必要とします。
ガイド付きサンプリングで一般的に使用される高速サンプラーは DDIM です。これは、高品質のサンプルに対して一般に 100 ～ 250 ステップを必要とする 1 次拡散 ODE ソルバーです。
最近の研究では、専用の高次ソルバーが提案され、ガイダンスなしのサンプリングのさらなる高速化が達成されていますが、ガイド付きサンプリングに対するそれらの有効性はこれまで十分にテストされていません。
この作業では、以前の高次高速サンプラーが不安定性の問題に悩まされており、ガイダンス スケールが大きくなると、DDIM よりも遅くなることさえあります。
ガイド付きサンプリングをさらに高速化するために、DPM のガイド付きサンプリング用の高次ソルバーである DPM-Solver++ を提案します。
DPM-Solver++ は、データ予測モデルを使用して拡散 ODE を解き、しきい値法を採用して、解がトレーニング データ分布と一致するようにします。
さらに、DPM-Solver++ のマルチステップ バリアントを提案して、有効なステップ サイズを減らすことで不安定性の問題に対処します。
実験によると、DPM-Solver++ は、ピクセル空間および潜在空間 DPM によるガイド付きサンプリングで、わずか 15 ～ 20 ステップで高品質のサンプルを生成できることが示されています。

要約(オリジナル)

Diffusion probabilistic models (DPMs) have achieved impressive success in high-resolution image synthesis, especially in recent large-scale text-to-image generation applications. An essential technique for improving the sample quality of DPMs is guided sampling, which usually needs a large guidance scale to obtain the best sample quality. The commonly-used fast sampler for guided sampling is DDIM, a first-order diffusion ODE solver that generally needs 100 to 250 steps for high-quality samples. Although recent works propose dedicated high-order solvers and achieve a further speedup for sampling without guidance, their effectiveness for guided sampling has not been well-tested before. In this work, we demonstrate that previous high-order fast samplers suffer from instability issues, and they even become slower than DDIM when the guidance scale grows large. To further speed up guided sampling, we propose DPM-Solver++, a high-order solver for the guided sampling of DPMs. DPM-Solver++ solves the diffusion ODE with the data prediction model and adopts thresholding methods to keep the solution matches training data distribution. We further propose a multistep variant of DPM-Solver++ to address the instability issue by reducing the effective step size. Experiments show that DPM-Solver++ can generate high-quality samples within only 15 to 20 steps for guided sampling by pixel-space and latent-space DPMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google