Residual Denoising Diffusion Models

要約

我々は、従来の単一ノイズ除去拡散プロセスを残留拡散とノイズ拡散に分離する新しい二重拡散プロセスである残留ノイズ除去拡散モデル (RDDM) を提案します。
この二重拡散フレームワークは、残差を導入することによって、当初は画像復元では解釈できなかったノイズ除去ベースの拡散モデルを、画像生成と復元の両方で統合された解釈可能なモデルに拡張します。
具体的には、残留拡散はターゲット画像から劣化した入力画像への方向性拡散を表し、画像復元のための逆生成プロセスを明示的にガイドしますが、ノイズ拡散は拡散プロセスにおけるランダムな摂動を表します。
残差は確実性を優先し、ノイズは多様性を強調するため、RDDM は画像の生成や復元など、さまざまな確実性や多様性の要件を持つタスクを効果的に統合できます。
係数変換を通じてサンプリング プロセスが DDPM および DDIM のプロセスと一致していることを実証し、逆のプロセスをよりよく理解するために部分的にパスに依存しない生成プロセスを提案します。
特に、当社の RDDM により、L1 損失とバッチ サイズ 1 のみでトレーニングされた汎用 UNet が最先端の画像復元方法と競合できるようになります。
革新的なフレームワーク (https://github.com/nachifur/RDDM) のさらなる調査、適用、開発を促進するために、コードと事前トレーニングされたモデルを提供します。

要約(オリジナル)

We propose residual denoising diffusion models (RDDM), a novel dual diffusion process that decouples the traditional single denoising diffusion process into residual diffusion and noise diffusion. This dual diffusion framework expands the denoising-based diffusion models, initially uninterpretable for image restoration, into a unified and interpretable model for both image generation and restoration by introducing residuals. Specifically, our residual diffusion represents directional diffusion from the target image to the degraded input image and explicitly guides the reverse generation process for image restoration, while noise diffusion represents random perturbations in the diffusion process. The residual prioritizes certainty, while the noise emphasizes diversity, enabling RDDM to effectively unify tasks with varying certainty or diversity requirements, such as image generation and restoration. We demonstrate that our sampling process is consistent with that of DDPM and DDIM through coefficient transformation, and propose a partially path-independent generation process to better understand the reverse process. Notably, our RDDM enables a generic UNet, trained with only an L1 loss and a batch size of 1, to compete with state-of-the-art image restoration methods. We provide code and pre-trained models to encourage further exploration, application, and development of our innovative framework (https://github.com/nachifur/RDDM).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google