Inversion by Direct Iteration: An Alternative to Denoising Diffusion for Image Restoration

要約

Inversion by Direct Iteration (InDI)は、いわゆる「平均への回帰」効果を回避し、既存の回帰ベースの手法よりも現実的で詳細な画像を生成する、教師あり画像復元のための新しい定式化である。これは、生成的ノイズ除去拡散モデルと同様に、小さなステップで徐々に画質を向上させることによって実現される。画像復元は、与えられた低画質入力から複数の高画質画像がもっともらしく再構成される、非解決問題である。従って、シングルステップの回帰モデルの結果は、一般的に全ての可能な説明の集合体であり、それ故に詳細さと現実性に欠ける。InDIの主な利点は、1つのステップできれいな目標画像を予測しようとせず、その代わりに小さなステップで徐々に画像を改善し、より良い知覚品質をもたらすことである。生成的ノイズ除去拡散モデルもスモールステップで機能するが、我々の定式化は、劣化プロセスのいかなる解析形式の知識も必要としないという点で異なっている。その代わりに、低画質と高画質のペア例から反復復元プロセスを直接学習する。InDIは、対になった学習データがあれば、事実上どのような画像劣化にも適用できる。条件付きノイズ除去拡散画像復元では、ノイズ除去ネットワークは、劣化した入力を条件として、純粋なノイズの初期画像を繰り返しノイズ除去することで復元画像を生成する。条件付きノイズ除去の定式化とは逆に、InDIは入力された低画質画像を反復的に復元することで直接的に処理を進め、動きやピンぼけのデブラーリング、超解像、圧縮アーチファクト除去、ノイズ除去など、様々な画像復元タスクで高品質な結果を生み出す。

要約(オリジナル)

Inversion by Direct Iteration (InDI) is a new formulation for supervised image restoration that avoids the so-called ‘regression to the mean’ effect and produces more realistic and detailed images than existing regression-based methods. It does this by gradually improving image quality in small steps, similar to generative denoising diffusion models. Image restoration is an ill-posed problem where multiple high-quality images are plausible reconstructions of a given low-quality input. Therefore, the outcome of a single step regression model is typically an aggregate of all possible explanations, therefore lacking details and realism. The main advantage of InDI is that it does not try to predict the clean target image in a single step but instead gradually improves the image in small steps, resulting in better perceptual quality. While generative denoising diffusion models also work in small steps, our formulation is distinct in that it does not require knowledge of any analytic form of the degradation process. Instead, we directly learn an iterative restoration process from low-quality and high-quality paired examples. InDI can be applied to virtually any image degradation, given paired training data. In conditional denoising diffusion image restoration the denoising network generates the restored image by repeatedly denoising an initial image of pure noise, conditioned on the degraded input. Contrary to conditional denoising formulations, InDI directly proceeds by iteratively restoring the input low-quality image, producing high-quality results on a variety of image restoration tasks, including motion and out-of-focus deblurring, super-resolution, compression artifact removal, and denoising.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL