Image Deraining with Frequency-Enhanced State Space Model

要約

画像内の雨によるアーチファクトを除去することは、重要な問題として認識されています。
この分野では、畳み込みニューラル ネットワーク (CNN) やトランスフォーマーなどの深層学習ベースのアプローチが成功しています。
最近、状態空間モデル (SSM) は、長距離の依存関係をモデル化する機能により、自然言語処理と画像処理の両方のさまざまなタスクにわたって優れたパフォーマンスを示しています。
この研究では、雨の除去に SSM を導入し、ディレイン周波数強化状態空間モデル (DFSSM) を提案します。
特定の方向に強度の高い周波数成分を生成する雨縞を効果的に除去するために、SSM と同時に周波数領域処理を採用します。
さらに、新しい混合スケール ゲート畳み込みブロックを開発します。これは、複数のカーネル サイズの畳み込みを使用してさまざまなスケールの劣化を効果的に捕捉し、情報の流れを管理するゲート メカニズムを統合します。
最後に、合成および現実世界の雨の画像データセットの実験により、私たちの方法が最先端の方法を超えていることが示されました。

要約(オリジナル)

Removing rain artifacts in images is recognized as a significant issue. In this field, deep learning-based approaches, such as convolutional neural networks (CNNs) and Transformers, have succeeded. Recently, State Space Models (SSMs) have exhibited superior performance across various tasks in both natural language processing and image processing due to their ability to model long-range dependencies. This study introduces SSM to rain removal and proposes a Deraining Frequency-Enhanced State Space Model (DFSSM). To effectively remove rain streaks, which produce high-intensity frequency components in specific directions, we employ frequency domain processing concurrently with SSM. Additionally, we develop a novel mixed-scale gated-convolutional block, which uses convolutions with multiple kernel sizes to capture various scale degradations effectively and integrates a gating mechanism to manage the flow of information. Finally, experiments on synthetic and real-world rainy image datasets show that our method surpasses state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google