Dual-Path Coupled Image Deraining Network via Spatial-Frequency Interaction

要約

トランスフォーマーは最近、画像ディレインの分野で重要な役割を果たしています。
既存のイメージディレインメント手法は、自己注意に関する広範な研究を利用しています。
印象的な結果を示していますが、自己注意力は一般に高周波の詳細を捉えるのが苦手であるため、重要な周波数情報を無視する傾向があります。
この欠点を克服するために、空間特徴抽出ブロック (SFEBlock) と周波数特徴抽出ブロック (FFEBlock) を通じて空間領域と周波数領域の両方からの情報を統合する革新的なデュアルパス結合ディレイン ネットワーク (DPCNet) を開発しました。
さらに、デュアルパス機能集約のための効果的なアダプティブ フュージョン モジュール (AFM) を導入しました。
6 つの公共のディレイニング ベンチマークと下流のビジョン タスクに関する広範な実験により、私たちが提案した方法が既存の最先端のディレイニング手法を上回るだけでなく、下流のビジョン タスクにおいて優れた堅牢性を備えた視覚的に楽しい結果を達成できることが実証されました。

要約(オリジナル)

Transformers have recently emerged as a significant force in the field of image deraining. Existing image deraining methods utilize extensive research on self-attention. Though showcasing impressive results, they tend to neglect critical frequency information, as self-attention is generally less adept at capturing high-frequency details. To overcome this shortcoming, we have developed an innovative Dual-Path Coupled Deraining Network (DPCNet) that integrates information from both spatial and frequency domains through Spatial Feature Extraction Block (SFEBlock) and Frequency Feature Extraction Block (FFEBlock). We have further introduced an effective Adaptive Fusion Module (AFM) for the dual-path feature aggregation. Extensive experiments on six public deraining benchmarks and downstream vision tasks have demonstrated that our proposed method not only outperforms the existing state-of-the-art deraining method but also achieves visually pleasuring results with excellent robustness on downstream vision tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google