SFFNet: A Wavelet-Based Spatial and Frequency Domain Fusion Network for Remote Sensing Segmentation

要約

空間情報をセグメンテーションに十分に活用し、リモートセンシングのセグメンテーションにおいて、グレースケールに大きなばらつきのある領域を扱うという課題に対処するために、我々はSFFNet（Spatial and Frequency Domain Fusion Network）フレームワークを提案する。このフレームワークは2段階のネットワーク設計を採用している。第1段階では、十分な空間的詳細と意味情報を持つ特徴を得るために、空間的手法を用いて特徴を抽出し、第2段階では、これらの特徴を空間と周波数の両方のドメインにマッピングする。周波数領域のマッピングでは、WTFD（Wavelet Transform Feature Decomposer）構造を導入し、Haarウェーブレット変換を用いて特徴を低周波成分と高周波成分に分解し、空間特徴と統合する。周波数特徴量と空間特徴量の間のセマンティックギャップを埋め、異なる表現領域からの特徴量の組み合わせを促進するための重要な特徴選択を容易にするために、マルチスケールデュアル表現アライメントフィルタ（MDAF）を設計する。この構造はマルチスケール畳み込みとデュアルクロスアテンションを利用する。包括的な実験結果は、既存の手法と比較して、SFFNetがmIoUの点で優れた性能を達成し、それぞれ84.80%と87.73%に達することを示している。コードはhttps://github.com/yysdck/SFFNet。

要約(オリジナル)

In order to fully utilize spatial information for segmentation and address the challenge of handling areas with significant grayscale variations in remote sensing segmentation, we propose the SFFNet (Spatial and Frequency Domain Fusion Network) framework. This framework employs a two-stage network design: the first stage extracts features using spatial methods to obtain features with sufficient spatial details and semantic information; the second stage maps these features in both spatial and frequency domains. In the frequency domain mapping, we introduce the Wavelet Transform Feature Decomposer (WTFD) structure, which decomposes features into low-frequency and high-frequency components using the Haar wavelet transform and integrates them with spatial features. To bridge the semantic gap between frequency and spatial features, and facilitate significant feature selection to promote the combination of features from different representation domains, we design the Multiscale Dual-Representation Alignment Filter (MDAF). This structure utilizes multiscale convolutions and dual-cross attentions. Comprehensive experimental results demonstrate that, compared to existing methods, SFFNet achieves superior performance in terms of mIoU, reaching 84.80% and 87.73% respectively.The code is located at https://github.com/yysdck/SFFNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL