Learning Degradation Representations for Image Deblurring

要約

画像ノイズ除去や画像超解像などの様々な学習ベースの画像復元タスクにおいて、劣化過程をモデル化し、複雑な劣化パターンを扱うために、劣化表現が広く用いられている。しかし、学習ベースの画像デブラーリングにおいては、実際の困難なケースにおいて、ぼかしカーネル推定がうまく機能しないため、あまり検討されていない。本論文では、ぼやけた画像の空間適応的な劣化表現を学習するためのフレームワークを提案する。また、劣化表現の表現力を向上させるために、画像の再ブラーリングとデブラーリングの合同学習過程を提案する。学習された劣化表現をリブラーリングとデブラーリングに有効にするために、我々はマルチスケール劣化注入ネットワーク（MSDI-Net）を提案し、それらをニューラルネットワークに統合させる。この統合により、MSDI-Netは多様で複雑なぼかしパターンを適応的に扱うことができる。GoProデータセットとRealBlurデータセットを用いた実験により、学習された劣化表現を用いた我々の提案するデブラーリングフレームワークは、魅力的な改善により、最先端の手法を上回ることを実証しています。コードは、https://github.com/dasongli1/Learning_degradation で公開されています。

要約(オリジナル)

In various learning-based image restoration tasks, such as image denoising and image super-resolution, the degradation representations were widely used to model the degradation process and handle complicated degradation patterns. However, they are less explored in learning-based image deblurring as blur kernel estimation cannot perform well in real-world challenging cases. We argue that it is particularly necessary for image deblurring to model degradation representations since blurry patterns typically show much larger variations than noisy patterns or high-frequency textures.In this paper, we propose a framework to learn spatially adaptive degradation representations of blurry images. A novel joint image reblurring and deblurring learning process is presented to improve the expressiveness of degradation representations. To make learned degradation representations effective in reblurring and deblurring, we propose a Multi-Scale Degradation Injection Network (MSDI-Net) to integrate them into the neural networks. With the integration, MSDI-Net can handle various and complicated blurry patterns adaptively. Experiments on the GoPro and RealBlur datasets demonstrate that our proposed deblurring framework with the learned degradation representations outperforms state-of-the-art methods with appealing improvements. The code is released at https://github.com/dasongli1/Learning_degradation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL