UDPM: Upsampling Diffusion Probabilistic Models

要約

ノイズ除去拡散確率モデル (DDPM) は、最近大きな注目を集めています。
DDPM は、データ ドメインで始まり、純粋なホワイト ノイズに達するまで徐々にノイズを追加するマルコフ プロセスを構成します。
DDPM は、逆プロセスを定義し、ディープ ニューラル ネットワークをトレーニングしてこのマッピングを学習することで、複雑なデータ分布から高品質のサンプルを生成します。
ただし、これらのモデルは、見た目に美しいサンプルを作成するには多くの拡散ステップが必要なため、非効率的です。
さらに、敵対的生成ネットワーク (GAN) とは異なり、拡散モデルの潜在空間は解釈しにくいです。
この研究では、ノイズ除去拡散プロセスをアップサンプリング拡散確率モデル (UDPM) に一般化することを提案します。
順方向のプロセスでは、ダウンサンプリングとそれに続く従来のノイズ摂動によって潜在変数の次元を削減します。
その結果、逆のプロセスによって徐々にノイズが除去され、潜在変数がアップサンプリングされて、データ分布からサンプルが生成されます。
UDPM のマルコフ拡散プロセスを形式化し、一般的な FFHQ、AFHQv2、および CIFAR10 データセットでの生成機能を実証します。
UDPM は、わずか 3 つのネットワーク評価でイメージを生成します。その全体的な計算コストは​​ 1 つの DDPM または EDM ステップよりも少なく、6.86 の FID スコアを達成します。
これは、サンプリングに単一のノイズ除去ステップを使用する現在の最先端の効率的な拡散モデルを上回ります。
さらに、UDPM は解釈可能で補間可能な潜在空間を提供するため、従来の DDPM よりも優れています。
私たちのコードはオンラインで入手できます: \url{https://github.com/shadyabh/UDPM/}

要約(オリジナル)

Denoising Diffusion Probabilistic Models (DDPM) have recently gained significant attention. DDPMs compose a Markovian process that begins in the data domain and gradually adds noise until reaching pure white noise. DDPMs generate high-quality samples from complex data distributions by defining an inverse process and training a deep neural network to learn this mapping. However, these models are inefficient because they require many diffusion steps to produce aesthetically pleasing samples. Additionally, unlike generative adversarial networks (GANs), the latent space of diffusion models is less interpretable. In this work, we propose to generalize the denoising diffusion process into an Upsampling Diffusion Probabilistic Model (UDPM). In the forward process, we reduce the latent variable dimension through downsampling, followed by the traditional noise perturbation. As a result, the reverse process gradually denoises and upsamples the latent variable to produce a sample from the data distribution. We formalize the Markovian diffusion processes of UDPM and demonstrate its generation capabilities on the popular FFHQ, AFHQv2, and CIFAR10 datasets. UDPM generates images with as few as three network evaluations, whose overall computational cost is less than a single DDPM or EDM step, while achieving an FID score of 6.86. This surpasses current state-of-the-art efficient diffusion models that use a single denoising step for sampling. Additionally, UDPM offers an interpretable and interpolable latent space, which gives it an advantage over traditional DDPMs. Our code is available online: \url{https://github.com/shadyabh/UDPM/}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google