Bi-Noising Diffusion: Towards Conditional Diffusion Models with Generative Restoration Priors

要約

条件付き拡散確率モデルは、自然画像の分布をモデル化し、特定の条件に基づいて多様で現実的なサンプルを生成できます。
ただし、多くの場合、それらの結果は観察可能な色の変化とテクスチャで非現実的なものになる可能性があります。
この問題は、モデルによって学習された確率分布と自然画像の分布との間の相違に起因すると考えられます。
デリケートな条件により、各サンプリング タイムステップで発散が徐々に拡大します。
この問題に対処するために、事前トレーニング済みの無条件拡散モデルを使用して、予測されたサンプルをトレーニング データ マニホールドにもたらす新しい方法を導入します。
無条件モデルは正則化として機能し、各サンプリング ステップで条件付きモデルによって導入される発散を減らします。
超解像、カラー化、乱流除去、および画像除去タスクに対するアプローチの有効性を実証するために、包括的な実験を行います。
私たちの方法によって得られた改善は、条件付き拡散モデルを改善するための一般的なプラグインとして事前分布を組み込むことができることを示唆しています。

要約(オリジナル)

Conditional diffusion probabilistic models can model the distribution of natural images and can generate diverse and realistic samples based on given conditions. However, oftentimes their results can be unrealistic with observable color shifts and textures. We believe that this issue results from the divergence between the probabilistic distribution learned by the model and the distribution of natural images. The delicate conditions gradually enlarge the divergence during each sampling timestep. To address this issue, we introduce a new method that brings the predicted samples to the training data manifold using a pretrained unconditional diffusion model. The unconditional model acts as a regularizer and reduces the divergence introduced by the conditional model at each sampling step. We perform comprehensive experiments to demonstrate the effectiveness of our approach on super-resolution, colorization, turbulence removal, and image-deraining tasks. The improvements obtained by our method suggest that the priors can be incorporated as a general plugin for improving conditional diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google