Unifying Diffusion Models’ Latent Space, with Applications to CycleDiffusion and Guidance

要約

拡散モデルは、生成モデリングにおいて前例のないパフォーマンスを達成しました。
拡散モデルの潜在コードの一般的に採用されている定式化は、GAN、VAE、および正規化フローのより単純な (ガウスなどの) 潜在空間とは対照的に、徐々にノイズ除去されたサンプルのシーケンスです。
このペーパーでは、さまざまな拡散モデルの潜在空間の代替ガウス定式化と、画像を潜在空間にマッピングする可逆 DPM エンコーダーを提供します。
私たちの定式化は純粋に拡散モデルの定義に基づいていますが、いくつかの興味深い結果を示しています。
(1) 経験的に、共通の潜在空間が、関連するドメインで独立してトレーニングされた 2 つの拡散モデルから出現することを観察します。
この発見に照らして、ペアになっていない画像から画像への変換に DPM-Encoder を使用する CycleDiffusion を提案します。
さらに、CycleDiffusion をテキストから画像への拡散モデルに適用して、大規模なテキストから画像への拡散モデルをゼロショットの画像から画像へのエディターとして使用できることを示します。
(2) エネルギーベースのモデルに基づく統合されたプラグアンドプレイの定式化で潜在コードを制御することにより、事前にトレーニングされた拡散モデルと GAN を導くことができます。
CLIPモデルと顔認識モデルをガイダンスとして使用して、拡散モデルがGANよりも低密度の部分集団と個人をより適切にカバーすることを示します。

要約(オリジナル)

Diffusion models have achieved unprecedented performance in generative modeling. The commonly-adopted formulation of the latent code of diffusion models is a sequence of gradually denoised samples, as opposed to the simpler (e.g., Gaussian) latent space of GANs, VAEs, and normalizing flows. This paper provides an alternative, Gaussian formulation of the latent space of various diffusion models, as well as an invertible DPM-Encoder that maps images into the latent space. While our formulation is purely based on the definition of diffusion models, we demonstrate several intriguing consequences. (1) Empirically, we observe that a common latent space emerges from two diffusion models trained independently on related domains. In light of this finding, we propose CycleDiffusion, which uses DPM-Encoder for unpaired image-to-image translation. Furthermore, applying CycleDiffusion to text-to-image diffusion models, we show that large-scale text-to-image diffusion models can be used as zero-shot image-to-image editors. (2) One can guide pre-trained diffusion models and GANs by controlling the latent codes in a unified, plug-and-play formulation based on energy-based models. Using the CLIP model and a face recognition model as guidance, we demonstrate that diffusion models have better coverage of low-density sub-populations and individuals than GANs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google