Resfusion: Denoising Diffusion Probabilistic Models for Image Restoration Based on Prior Residual Noise

要約

近年、ノイズ除去拡散モデルの研究は、画像復元の分野にも応用を広げている。従来の拡散に基づく画像復元法では、劣化画像を条件入力として利用することで、元のノイズ除去拡散プロセスに手を加えることなく、逆生成プロセスを効果的に導いている。しかし、劣化画像にはすでに低周波情報が含まれているため、ガウス白色ノイズから始めるとサンプリングステップが増えることになる。我々はResfusionという一般的なフレームワークを提案する。Resfusionは残差項を拡散前方過程に組み込み、ノイズの多い劣化画像から直接逆方向過程を開始する。我々の推論プロセスの形式はDDPMと一致する。予測対象としてresnoiseと名付けられた重み付き残差ノイズを導入し、resnoiseにおける残差項とノイズ項の間の量的関係を明示的に提供する。滑らかな等価変換を利用することで、Resfusionは最適な加速ステップを決定し、既存のノイズスケジュールの整合性を維持し、学習と推論のプロセスを統合する。実験の結果、ResfusionはISTDデータセット、LOLデータセット、Raindropデータセットにおいて、わずか5回のサンプリングステップで競争力のある性能を示した。さらに、Resfusionは画像生成に容易に適用でき、強力な汎用性を持つ。我々のコードとモデルはhttps://github.com/nkicsl/Resfusion。

要約(オリジナル)

Recently, research on denoising diffusion models has expanded its application to the field of image restoration. Traditional diffusion-based image restoration methods utilize degraded images as conditional input to effectively guide the reverse generation process, without modifying the original denoising diffusion process. However, since the degraded images already include low-frequency information, starting from Gaussian white noise will result in increased sampling steps. We propose Resfusion, a general framework that incorporates the residual term into the diffusion forward process, starting the reverse process directly from the noisy degraded images. The form of our inference process is consistent with the DDPM. We introduced a weighted residual noise, named resnoise, as the prediction target and explicitly provide the quantitative relationship between the residual term and the noise term in resnoise. By leveraging a smooth equivalence transformation, Resfusion determine the optimal acceleration step and maintains the integrity of existing noise schedules, unifying the training and inference processes. The experimental results demonstrate that Resfusion exhibits competitive performance on ISTD dataset, LOL dataset and Raindrop dataset with only five sampling steps. Furthermore, Resfusion can be easily applied to image generation and emerges with strong versatility. Our code and model are available at https://github.com/nkicsl/Resfusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL