Deep learning-based blind image super-resolution with iterative kernel reconstruction and noise estimation

要約

ブラインド単一画像超解像度 (SISR) は、逆問題の不適切な性質により、画像処理における困難なタスクです。
現実の画像には複雑な劣化が存在するため、合成的に生成された画像ペアでモデルがトレーニングされることが多い、単純な深層学習アプローチを使用してこの問題を解決することが困難になります。
これまでの取り組みのほとんどは、ブラー カーネルの限られた空間やノイズのない入力画像の仮定など、いくつかの制約の下で逆問題を解くことに焦点を当ててきました。
しかし、文献には、未知の非常に複雑な劣化のある画像に対して適切に機能する、よく一般化された深層学習ベースのソリューションを提供するためのギャップがあります。
この論文では、ブラインド SISR のための IKR-Net (Iterative Kernel Reconstruction Network) を提案します。
提案されたアプローチでは、カーネルとノイズの推定と高解像度画像の再構成が、専用のディープモデルを使用して繰り返し実行されます。
反復改良により、ノイズの多い入力であっても、再構成された画像と推定されたブラー カーネルの両方が大幅に改善されます。
IKR-Net は、入力低解像度画像のあらゆるタイプのぼやけやノイズ レベルを処理できる汎用ソリューションを提供します。
IKR-Net は、特にモーション ブラーのあるノイズの多い画像に対して、ブラインド SISR で最先端の結果を実現します。

要約(オリジナル)

Blind single image super-resolution (SISR) is a challenging task in image processing due to the ill-posed nature of the inverse problem. Complex degradations present in real life images make it difficult to solve this problem using na\’ive deep learning approaches, where models are often trained on synthetically generated image pairs. Most of the effort so far has been focused on solving the inverse problem under some constraints, such as for a limited space of blur kernels and/or assuming noise-free input images. Yet, there is a gap in the literature to provide a well-generalized deep learning-based solution that performs well on images with unknown and highly complex degradations. In this paper, we propose IKR-Net (Iterative Kernel Reconstruction Network) for blind SISR. In the proposed approach, kernel and noise estimation and high-resolution image reconstruction are carried out iteratively using dedicated deep models. The iterative refinement provides significant improvement in both the reconstructed image and the estimated blur kernel even for noisy inputs. IKR-Net provides a generalized solution that can handle any type of blur and level of noise in the input low-resolution image. IKR-Net achieves state-of-the-art results in blind SISR, especially for noisy images with motion blur.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google