Learning a Degradation-Adaptive Network for Light Field Image Super-Resolution

要約

近年、ライトフィールド（LF）画像の超解像（SR）におけるディープニューラルネットワーク（DNN）の大きな進歩が見られます。
ただし、既存のDNNベースのLF画像SR法は、単一の固定劣化（たとえば、バイキュービックダウンサンプリング）で開発されているため、さまざまな劣化を伴う実際のLF画像を超解像するために適用することはできません。
本論文では、複数の劣化を伴うLF画像SRを処理する最初の方法を提案した。
私たちの方法では、実際のLF画像の劣化プロセスを近似するために、ブラーとノイズを考慮した実用的なLF劣化モデルを開発します。
次に、劣化適応ネットワーク（LF-DAnet）を設計して、SRプロセスに事前の劣化を組み込みます。
複数の合成劣化を伴うLF画像でトレーニングすることにより、私たちの方法は、空間情報と角度情報を取り入れながら、さまざまな劣化に適応することを学ぶことができます。
合成分解されたLFと実際のLFの両方での広範な実験は、私たちの方法の有効性を示しています。
既存の最先端のシングルおよびLF画像SR法と比較して、私たちの方法は、広範囲の劣化の下で優れたSR性能を達成し、実際のLF画像によりよく一般化されます。
コードとモデルはhttps://github.com/YingqianWang/LF-DAnetで入手できます。

要約(オリジナル)

Recent years have witnessed the great advances of deep neural networks (DNNs) in light field (LF) image super-resolution (SR). However, existing DNN-based LF image SR methods are developed on a single fixed degradation (e.g., bicubic downsampling), and thus cannot be applied to super-resolve real LF images with diverse degradations. In this paper, we propose the first method to handle LF image SR with multiple degradations. In our method, a practical LF degradation model that considers blur and noise is developed to approximate the degradation process of real LF images. Then, a degradation-adaptive network (LF-DAnet) is designed to incorporate the degradation prior into the SR process. By training on LF images with multiple synthetic degradations, our method can learn to adapt to different degradations while incorporating the spatial and angular information. Extensive experiments on both synthetically degraded and real-world LFs demonstrate the effectiveness of our method. Compared with existing state-of-the-art single and LF image SR methods, our method achieves superior SR performance under a wide range of degradations, and generalizes better to real LF images. Codes and models are available at https://github.com/YingqianWang/LF-DAnet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google