Zero-Shot Image Restoration Using Denoising Diffusion Null-Space Model

要約

ほとんどの既存のイメージ復元 (IR) モデルはタスク固有であり、さまざまな劣化オペレーターに一般化することはできません。
この作業では、ノイズ除去拡散ヌル空間モデル (DDNM) を提案します。これは、画像の超解像、カラー化、修復、圧縮センシング、およびブレ除去を含むがこれらに限定されない、任意の線形 IR 問題に対する新しいゼロショット フレームワークです。
DDNM は、追加のトレーニングやネットワークの変更を必要とせずに、事前にトレーニングされた市販の拡散モデルのみを生成事前分布として必要とします。
逆拡散過程でヌル空間の内容のみを精製することで、データの一貫性とリアリティを両立させた多様な結果を得ることができます。
さらに、DDNM+ と呼ばれる強化された堅牢なバージョンを提案して、ノイズの多い復元をサポートし、ハード タスクの復元品質を向上させます。
いくつかの IR タスクに関する私たちの実験では、DDNM が他の最先端のゼロショット IR 方法よりも優れていることが明らかになりました。
また、DDNM+ が複雑な実世界のアプリケーション (古い写真の復元など) を解決できることも示しています。

要約(オリジナル)

Most existing Image Restoration (IR) models are task-specific, which can not be generalized to different degradation operators. In this work, we propose the Denoising Diffusion Null-Space Model (DDNM), a novel zero-shot framework for arbitrary linear IR problems, including but not limited to image super-resolution, colorization, inpainting, compressed sensing, and deblurring. DDNM only needs a pre-trained off-the-shelf diffusion model as the generative prior, without any extra training or network modifications. By refining only the null-space contents during the reverse diffusion process, we can yield diverse results satisfying both data consistency and realness. We further propose an enhanced and robust version, dubbed DDNM+, to support noisy restoration and improve restoration quality for hard tasks. Our experiments on several IR tasks reveal that DDNM outperforms other state-of-the-art zero-shot IR methods. We also demonstrate that DDNM+ can solve complex real-world applications, e.g., old photo restoration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google