Accelerating Score-based Generative Models with Preconditioned Diffusion Sampling

要約

スコアベース生成モデル(SGM)は、近年、有望な生成モデルの一種として注目されている。しかし、逐次計算を多数（例えば2000回）繰り返す必要があるため、推論に非常に時間がかかるという根本的な限界がある。直感的な高速化手法はサンプリングの反復回数を減らすことであるが、これは深刻な性能劣化を引き起こす。我々は、拡散サンプリング処理をメトロポリス調整ランジュバンアルゴリズムとみなすことで、この問題を調査し、根本的な原因は、条件の悪い曲率にあることを明らかにする。この洞察の下で、我々は、前述の問題を軽減するために、行列の前処理を活用したモデル非依存的な前処理付き拡散サンプリング（PDS）法を提案する。PDSは再トレーニングを必要とせず、SGMの元の目標分布に収束することが理論的に証明されていることが重要である。様々な解像度と多様性を持つ3つの画像データセットに対する広範な実験により、PDSは合成の質を維持しながら、市販のSGMを一貫して高速化することが検証されています。特に、より困難な高解像度（1024×1024）画像の生成において、PDSは最大29倍もの高速化を実現しました。

要約(オリジナル)

Score-based generative models (SGMs) have recently emerged as a promising class of generative models. However, a fundamental limitation is that their inference is very slow due to a need for many (e.g., 2000) iterations of sequential computations. An intuitive acceleration method is to reduce the sampling iterations which however causes severe performance degradation. We investigate this problem by viewing the diffusion sampling process as a Metropolis adjusted Langevin algorithm, which helps reveal the underlying cause to be ill-conditioned curvature. Under this insight, we propose a model-agnostic preconditioned diffusion sampling (PDS) method that leverages matrix preconditioning to alleviate the aforementioned problem. Crucially, PDS is proven theoretically to converge to the original target distribution of a SGM, no need for retraining. Extensive experiments on three image datasets with a variety of resolutions and diversity validate that PDS consistently accelerates off-the-shelf SGMs whilst maintaining the synthesis quality. In particular, PDS can accelerate by up to 29x on more challenging high resolution (1024×1024) image generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL