Accelerating Score-based Generative Models for High-Resolution Image Synthesis

要約

スコアベースの生成モデル（SGM）は、最近、有望なクラスの生成モデルとして登場しました。
重要なアイデアは、ターゲット分布、別名拡散サンプリングに収束するまで、ガウスノイズと勾配をガウスサンプルに繰り返し追加することにより、高品質の画像を生成することです。
ただし、サンプリングと生成の品質の収束の安定性を確保するために、この順次サンプリングプロセスは、小さなステップサイズと多くのサンプリング反復（たとえば、2000）を実行する必要があります。
低解像度の生成に焦点を当てて、いくつかの加速方法が提案されています。
この作業では、SGMを使用した高解像度生成の高速化について検討します。これは、より困難でありながらより重要な問題です。
この遅い収束の欠点は、主にターゲット分布の無知によるものであることを理論的に証明します。
さらに、空間および周波数領域での構造的事前確率を活用することにより、新しいTarget Distribution Aware Sampling（TDAS）メソッドを紹介します。
CIFAR-10、CelebA、LSUN、およびFFHQデータセットに関する広範な実験により、TDASは、特により困難な高解像度（1024×1024）の画像生成タスクで、主に維持しながら、最先端のSGMを一貫して加速できることが検証されます。
合成品質。
サンプリングの反復回数が少なくても、TDASは高品質の画像を生成できます。
対照的に、既存の方法は大幅に低下するか、完全に失敗することさえあります

要約(オリジナル)

Score-based generative models (SGMs) have recently emerged as a promising class of generative models. The key idea is to produce high-quality images by recurrently adding Gaussian noises and gradients to a Gaussian sample until converging to the target distribution, a.k.a. the diffusion sampling. To ensure stability of convergence in sampling and generation quality, however, this sequential sampling process has to take a small step size and many sampling iterations (e.g., 2000). Several acceleration methods have been proposed with focus on low-resolution generation. In this work, we consider the acceleration of high-resolution generation with SGMs, a more challenging yet more important problem. We prove theoretically that this slow convergence drawback is primarily due to the ignorance of the target distribution. Further, we introduce a novel Target Distribution Aware Sampling (TDAS) method by leveraging the structural priors in space and frequency domains. Extensive experiments on CIFAR-10, CelebA, LSUN, and FFHQ datasets validate that TDAS can consistently accelerate state-of-the-art SGMs, particularly on more challenging high resolution (1024×1024) image generation tasks by up to 18.4x, whilst largely maintaining the synthesis quality. With fewer sampling iterations, TDAS can still generate good quality images. In contrast, the existing methods degrade drastically or even fails completely

arxiv情報

提供元, 利用サービス

arxiv.jp, Google