Accelerating Score-based Generative Models with Preconditioned Diffusion Sampling

要約

スコアベースの生成モデル（SGM）は、最近、有望なクラスの生成モデルとして登場しました。
ただし、基本的な制限は、順次計算を何度も（たとえば、2000回）繰り返す必要があるため、推論が非常に遅いことです。
直感的なアクセラレーション方法は、サンプリングの反復を減らすことですが、パフォーマンスが大幅に低下します。
拡散サンプリングプロセスをメトロポリス調整ランジュバンアルゴリズムと見なすことにより、この問題を調査します。これは、悪条件の曲率である根本的な原因を明らかにするのに役立ちます。
この洞察の下で、前述の問題を軽減するために行列の前処理を活用するモデルにとらわれない前処理拡散サンプリング（PDS）メソッドを提案します。
重要なのは、PDSがSGMの元のターゲット分布に収束することが理論的に証明されており、再トレーニングの必要がないことです。
さまざまな解像度と多様性を備えた3つの画像データセットでの広範な実験により、PDSが合成品質を維持しながら既製のSGMを一貫して加速することが検証されます。
特に、PDSは、より困難な高解像度（1024×1024）の画像生成で最大29倍高速化できます。

要約(オリジナル)

Score-based generative models (SGMs) have recently emerged as a promising class of generative models. However, a fundamental limitation is that their inference is very slow due to a need for many (e.g., 2000) iterations of sequential computations. An intuitive acceleration method is to reduce the sampling iterations which however causes severe performance degradation. We investigate this problem by viewing the diffusion sampling process as a Metropolis adjusted Langevin algorithm, which helps reveal the underlying cause to be ill-conditioned curvature. Under this insight, we propose a model-agnostic preconditioned diffusion sampling (PDS) method that leverages matrix preconditioning to alleviate the aforementioned problem. Crucially, PDS is proven theoretically to converge to the original target distribution of a SGM, no need for retraining. Extensive experiments on three image datasets with a variety of resolutions and diversity validate that PDS consistently accelerates off-the-shelf SGMs whilst maintaining the synthesis quality. In particular, PDS can accelerate by up to 29x on more challenging high resolution (1024×1024) image generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google