Stimulating the Diffusion Model for Image Denoising via Adaptive Embedding and Ensembling

要約

画像のノイズ除去はコンピューテーショナル フォトグラフィーにおける基本的な問題であり、低歪みで高い知覚を実現することが非常に要求されます。
現在の方法は、知覚品質に問題があるか、重大な歪みに悩まされています。
最近、新たな拡散モデルがさまざまなタスクで最先端のパフォーマンスを達成し、画像のノイズ除去に大きな可能性を示しています。
ただし、画像のノイズ除去のために拡散モデルを刺激することは簡単ではなく、いくつかの重大な問題を解決する必要があります。
まず、入力の不一致により、拡散モデルと画像のノイズ除去の間の接続が妨げられます。
もう 1 つは、生成された画像と目的のノイズ除去された画像との間の内容の不一致により歪みが生じることです。
これらの問題に取り組むために、ノイズ除去の観点から拡散モデルを理解し、再考することにより、画像ノイズ除去のための拡散モデル (DMID) と呼ばれる新しい戦略を提案します。
当社の DMID 戦略には、ノイズを含む画像を事前トレーニングされた無条件拡散モデルに埋め込む適応埋め込み法と、ノイズ除去された画像の歪みを低減する適応アンサンブル法が含まれています。
当社の DMID 戦略は、ガウス画像と実世界の画像ノイズ除去の両方において、歪みベースと知覚ベースの両方のメトリクスで最先端のパフォーマンスを実現します。コードは https://github.com/Li-Tong- で入手できます。
621/DMID。

要約(オリジナル)

Image denoising is a fundamental problem in computational photography, where achieving high perception with low distortion is highly demanding. Current methods either struggle with perceptual quality or suffer from significant distortion. Recently, the emerging diffusion model has achieved state-of-the-art performance in various tasks and demonstrates great potential for image denoising. However, stimulating diffusion models for image denoising is not straightforward and requires solving several critical problems. For one thing, the input inconsistency hinders the connection between diffusion models and image denoising. For another, the content inconsistency between the generated image and the desired denoised image introduces distortion. To tackle these problems, we present a novel strategy called the Diffusion Model for Image Denoising (DMID) by understanding and rethinking the diffusion model from a denoising perspective. Our DMID strategy includes an adaptive embedding method that embeds the noisy image into a pre-trained unconditional diffusion model and an adaptive ensembling method that reduces distortion in the denoised image. Our DMID strategy achieves state-of-the-art performance on both distortion-based and perception-based metrics, for both Gaussian and real-world image denoising.The code is available at https://github.com/Li-Tong-621/DMID.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google