Adaptive Frequency Enhancement Network for Single Image Deraining

要約

画像ディレインは、雨の影響で損傷した画像の視認性を向上させることを目的としており、雨筋、雨滴、雨の蓄積などの劣化要素を除去することを目的としています。
多数の単一画像ディレイニング手法が、空間領域内の画像強調において有望な結果を示していますが、現実世界の雨による劣化は画像の周波数スペクトル全体にわたって不均一な損傷を引き起こすことが多く、さまざまな周波数成分を強調する際にこれらの手法には課題が生じています。
この論文では、さまざまな周波数にわたって画像を適応的に強化する、単一画像のディレインに特化した新しいエンドツーエンドの適応周波数拡張ネットワーク (AFENet) を紹介します。
さまざまなスケールの畳み込みを使用して画像周波数帯域を適応的に分解し、さまざまな周波数成分の特徴を強化する特徴拡張モジュールを導入し、さまざまな周波数ブランチからの情報を交換および結合するための新しいインタラクション モジュールを提示します。
同時に、異なる周波数帯域の特徴を効率的かつ適応的に融合し、周波数スペクトル全体にわたる強化を促進する特徴集約モジュールを提案します。
このアプローチにより、排水ネットワークは多様で複雑な雨のパターンを排除し、画像の詳細を正確に再構築できるようになります。
現実のシーンと合成シーンの両方での広範な実験により、私たちの方法が視覚的に魅力的な強化結果を達成するだけでなく、パフォーマンスにおいても既存の方法を上回ることが実証されました。

要約(オリジナル)

Image deraining aims to improve the visibility of images damaged by rainy conditions, targeting the removal of degradation elements such as rain streaks, raindrops, and rain accumulation. While numerous single image deraining methods have shown promising results in image enhancement within the spatial domain, real-world rain degradation often causes uneven damage across an image’s entire frequency spectrum, posing challenges for these methods in enhancing different frequency components. In this paper, we introduce a novel end-to-end Adaptive Frequency Enhancement Network (AFENet) specifically for single image deraining that adaptively enhances images across various frequencies. We employ convolutions of different scales to adaptively decompose image frequency bands, introduce a feature enhancement module to boost the features of different frequency components and present a novel interaction module for interchanging and merging information from various frequency branches. Simultaneously, we propose a feature aggregation module that efficiently and adaptively fuses features from different frequency bands, facilitating enhancements across the entire frequency spectrum. This approach empowers the deraining network to eliminate diverse and complex rainy patterns and to reconstruct image details accurately. Extensive experiments on both real and synthetic scenes demonstrate that our method not only achieves visually appealing enhancement results but also surpasses existing methods in performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google