Multi-scale frequency separation network for image deblurring

要約

画像のブレ除去は、ぼやけた画像から詳細なテクスチャ情報または構造を復元することを目的としています。これは、多くのコンピューター ビジョン タスクで不可欠なステップになっています。
画像のブレ除去の問題に対処するためにさまざまな方法が提案されていますが、それらのほとんどはぼやけた画像を全体として扱い、異なる画像周波数の特性を無視していました。
この論文では、画像のブレ除去のためのマルチスケール周波数分離ネットワーク（MSFS-Net）と呼ばれる新しい方法を紹介します。
MSFS-Net は、周波数分離モジュール (FSM) をエンコーダー/デコーダー ネットワーク アーキテクチャに導入し、画像の低周波および高周波情報を複数のスケールでキャプチャします。
次に、サイクル一貫性戦略と対照学習モジュール (CLM) は、それぞれ低周波情報を保持し、ブレ除去中に高周波情報を回復するように設計されています。
最後に、異なるスケールの機能がクロススケール機能融合モジュール (CSFFM) によって融合されます。
ベンチマーク データセットに関する広範な実験は、提案されたネットワークが最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Image deblurring aims to restore the detailed texture information or structures from blurry images, which has become an indispensable step in many computer vision tasks. Although various methods have been proposed to deal with the image deblurring problem, most of them treated the blurry image as a whole and neglected the characteristics of different image frequencies. In this paper, we present a new method called multi-scale frequency separation network (MSFS-Net) for image deblurring. MSFS-Net introduces the frequency separation module (FSM) into an encoder-decoder network architecture to capture the low- and high-frequency information of image at multiple scales. Then, a cycle-consistency strategy and a contrastive learning module (CLM) are respectively designed to retain the low-frequency information and recover the high-frequency information during deblurring. At last, the features of different scales are fused by a cross-scale feature fusion module (CSFFM). Extensive experiments on benchmark datasets show that the proposed network achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google