Spatial-Frequency Attention for Image Denoising

要約

最近開発された変換器ネットワークは、画像のセルフアテンション (SA) を活用することで、画像のノイズ除去において印象的なパフォーマンスを達成しました。
ただし、既存の方法では、SA の二次的な複雑さのために比較的小さなウィンドウを使用して SA を計算することが多く、長期的な画像情報をモデル化するモデルの能力が制限されます。
この論文では、空間周波数アテンション ネットワーク (SFANet) を提案して、ネットワークの長距離依存関係を利用する能力を強化します。
空間的注意モジュール (SAM) では、拡張 SA を採用して、長距離依存関係をモデル化します。
周波数アテンション モジュール (FAM) では、ウィンドウベースの周波数チャネル アテンション (WFCA) ブロックを設計することで、高速フーリエ変換 (FFT) を使用してよりグローバルな情報を活用し、深い周波数機能とその依存関係を効果的にモデル化します。
モジュールをさまざまなサイズの画像に適用できるようにし、トレーニングと推論の間でモデルの一貫性を維持するために、一連の固定ウィンドウ サイズでウィンドウベースの FFT を適用します。
さらに、フーリエ スペクトルの実部と虚部の両方でチャネル アテンションが計算されるため、復元パフォーマンスがさらに向上します。
提案された WFCA ブロックは、許容できる複雑さで画像の長期依存性を効果的にモデル化できます。
複数のノイズ除去ベンチマークでの実験により、SFANet ネットワークの優れたパフォーマンスが実証されました。

要約(オリジナル)

The recently developed transformer networks have achieved impressive performance in image denoising by exploiting the self-attention (SA) in images. However, the existing methods mostly use a relatively small window to compute SA due to the quadratic complexity of it, which limits the model’s ability to model long-term image information. In this paper, we propose the spatial-frequency attention network (SFANet) to enhance the network’s ability in exploiting long-range dependency. For spatial attention module (SAM), we adopt dilated SA to model long-range dependency. In the frequency attention module (FAM), we exploit more global information by using Fast Fourier Transform (FFT) by designing a window-based frequency channel attention (WFCA) block to effectively model deep frequency features and their dependencies. To make our module applicable to images of different sizes and keep the model consistency between training and inference, we apply window-based FFT with a set of fixed window sizes. In addition, channel attention is computed on both real and imaginary parts of the Fourier spectrum, which further improves restoration performance. The proposed WFCA block can effectively model image long-range dependency with acceptable complexity. Experiments on multiple denoising benchmarks demonstrate the leading performance of SFANet network.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google