FourierMamba: Fourier Learning Integration with State Space Models for Image Deraining

要約

画像ディレインは、雨の画像から雨の縞模様を除去し、鮮明な背景を復元することを目的としています。
現在、フーリエ変換を使用するいくつかの研究では、フーリエ変換が雨の縞を捕捉するための事前の効果的な周波数として機能するため、画像のディレイン化に効果的であることが証明されています。
ただし、画像には低周波数と高周波数の依存性が存在するにもかかわらず、これらのフーリエベースの方法では、学習手順を結合するために異なる周波数の相関を利用することはほとんどなく、画像のディレイン化のための周波数情報の完全な利用が制限されます。
あるいは、最近登場した Mamba 技術は、さまざまな領域 (空間的、時間的など) での相関をモデリングするための有効性と効率性を示しており、Mamba をその未踏のフーリエ空間に導入して、さまざまな周波数を相関させることが画像のディレイン化の改善に役立つと主張します。
これは、フーリエ空間で Mamba を使用して画像ディレインを実行する、FourierMamba と呼ばれる新しいフレームワークを提案する動機となっています。
フーリエ空間における周波数次数の独特な配置に基づいて、FourierMamba の核心は、さまざまな周波数の走査エンコードにあり、低周波数から高周波数の次数フォーマットが空間次元 (軸に配置されていない) とチャネル次元 (軸に配置されている) で異なって現れます。
軸）。
したがって、空間次元およびチャネル次元のフーリエ空間情報を個別の設計と相関付ける FourierMamba を設計します。
具体的には、空間次元のフーリエ空間において、ジグザグコーディングを導入して周波数をスキャンし、次数を低周波から高周波まで再配列し、それによって周波数間の接続を規則正しく相関させます。
軸に周波数の順序が配置されたチャネル次元フーリエ空間では、Mamba を直接使用して周波数相関を実行し、チャネル情報表現を改善できます。

要約(オリジナル)

Image deraining aims to remove rain streaks from rainy images and restore clear backgrounds. Currently, some research that employs the Fourier transform has proved to be effective for image deraining, due to it acting as an effective frequency prior for capturing rain streaks. However, despite there exists dependency of low frequency and high frequency in images, these Fourier-based methods rarely exploit the correlation of different frequencies for conjuncting their learning procedures, limiting the full utilization of frequency information for image deraining. Alternatively, the recently emerged Mamba technique depicts its effectiveness and efficiency for modeling correlation in various domains (e.g., spatial, temporal), and we argue that introducing Mamba into its unexplored Fourier spaces to correlate different frequencies would help improve image deraining. This motivates us to propose a new framework termed FourierMamba, which performs image deraining with Mamba in the Fourier space. Owning to the unique arrangement of frequency orders in Fourier space, the core of FourierMamba lies in the scanning encoding of different frequencies, where the low-high frequency order formats exhibit differently in the spatial dimension (unarranged in axis) and channel dimension (arranged in axis). Therefore, we design FourierMamba that correlates Fourier space information in the spatial and channel dimensions with distinct designs. Specifically, in the spatial dimension Fourier space, we introduce the zigzag coding to scan the frequencies to rearrange the orders from low to high frequencies, thereby orderly correlating the connections between frequencies; in the channel dimension Fourier space with arranged orders of frequencies in axis, we can directly use Mamba to perform frequency correlation and improve the channel information representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google