Application of Deep Learning in Blind Motion Deblurring: Current Status and Future Prospects

要約

動きのブレ除去は、コンピュータ ビジョンの基本的な問題の 1 つであり、継続的に注目されています。
画像内および画像間でのブラーの変動により、ブラー カーネルの推定に依存する非ブラインドブラー除去技術に制限が課せられます。
これに対応して、ディープ ラーニング手法の進歩により、ブラーの種類に関する事前知識がなくても鮮明で詳細な画像を復元することを目的としたブラインド モーションブラー除去が登場しました。
この分野の進歩にも関わらず、深層学習ベースのブラインドモーションぼけ除去における最近の進歩を包括的に統合したものが著しく欠けています。
このペーパーでは、過去 6 年間に開発されたデータセット、評価指標、および手法を網羅し、ブラインド モーションのブレ除去におけるディープ ラーニングの役割の徹底的な概要を提供することで、そのギャップを埋めています。
具体的には、まずモーション ブラーの種類とブラー除去の基本原理を紹介します。
次に、従来の非ブラインドぼけ除去アルゴリズムの欠点を概説し、ぼけ除去タスクに深層学習技術を採用する利点を強調します。
これに続いて、畳み込みニューラル ネットワーク、敵対的生成ネットワーク、リカレント ニューラル ネットワーク、トランスフォーマー ネットワークなど、さまざまなバックボーン ネットワークに基づいて既存のブラインド モーションぼけ除去手法を分類して要約します。
続いて、これらのさまざまなカテゴリの基本原則について詳しく説明するだけでなく、それらの利点と制限の包括的な概要と比較も提供します。
広く使用されている 4 つのデータセットに対して実施された定性的および定量的な実験結果により、SOTA メソッドのパフォーマンスがさらに比較されます。
最後に、現在の課題と将来の方向性の分析です。
収集されたすべてのモデル、ベンチマーク データセット、ソース コード リンク、および評価用のコードは、https://github.com/VisionVerse/Blind-Motion-Deblurring-Survey で公開されています。

要約(オリジナル)

Motion deblurring is one of the fundamental problems of computer vision and has received continuous attention. The variability in blur, both within and across images, imposes limitations on non-blind deblurring techniques that rely on estimating the blur kernel. As a response, blind motion deblurring has emerged, aiming to restore clear and detailed images without prior knowledge of the blur type, fueled by the advancements in deep learning methodologies. Despite strides in this field, a comprehensive synthesis of recent progress in deep learning-based blind motion deblurring is notably absent. This paper fills that gap by providing an exhaustive overview of the role of deep learning in blind motion deblurring, encompassing datasets, evaluation metrics, and methods developed over the last six years. Specifically, we first introduce the types of motion blur and the fundamental principles of deblurring. Next, we outline the shortcomings of traditional non-blind deblurring algorithms, emphasizing the advantages of employing deep learning techniques for deblurring tasks. Following this, we categorize and summarize existing blind motion deblurring methods based on different backbone networks, including convolutional neural networks, generative adversarial networks, recurrent neural networks, and Transformer networks. Subsequently, we elaborate not only on the fundamental principles of these different categories but also provide a comprehensive summary and comparison of their advantages and limitations. Qualitative and quantitative experimental results conducted on four widely used datasets further compare the performance of SOTA methods. Finally, an analysis of present challenges and future pathways. All collected models, benchmark datasets, source code links, and codes for evaluation have been made publicly available at https://github.com/VisionVerse/Blind-Motion-Deblurring-Survey

arxiv情報

提供元, 利用サービス

arxiv.jp, Google