Adaptive Frequency Enhancement Network for Remote Sensing Image Semantic Segmentation

要約

高解像度リモートセンシング画像の意味的セグメンテーションは、土地利用モニタリングや都市計画において重要な役割を果たす。近年のディープラーニングに基づく手法の目覚ましい進歩により、満足のいくセグメンテーション結果を生成することが可能になった。しかし、既存の手法は、様々な土地被覆分布にネットワークパラメータを適応させることや、空間領域と周波数領域の特徴間の相互作用を強化することに、依然として課題を抱えている。これらの課題に対処するため、我々は、適応的周波数・空間特徴相互作用モジュール（AFSIM）と選択的特徴融合モジュール（SFM）の2つの主要コンポーネントを統合した適応的周波数強調ネットワーク（AFENet）を提案する。AFSIMは、入力画像の内容に応じて、高周波特徴量と低周波特徴量を動的に分離・変調する。適応的に2つのマスクを生成し、高周波成分と低周波成分を分離することで、地上物体特徴表現に最適な詳細情報と文脈補足情報を提供します。SFMは、ネットワークの表現能力を高めるために、大域的な文脈と局所的な詳細特徴を選択的に融合する。したがって、周波数と空間特徴間の相互作用がさらに強化される。一般に公開されている3つのデータセットを用いた広範な実験により、提案するAFENetが最先端の手法を凌駕することが実証された。さらに、多様な土地被覆タイプと複雑なシナリオの管理におけるAFSIMとSFMの有効性も検証した。我々のコードはhttps://github.com/oucailab/AFENet。

要約(オリジナル)

Semantic segmentation of high-resolution remote sensing images plays a crucial role in land-use monitoring and urban planning. Recent remarkable progress in deep learning-based methods makes it possible to generate satisfactory segmentation results. However, existing methods still face challenges in adapting network parameters to various land cover distributions and enhancing the interaction between spatial and frequency domain features. To address these challenges, we propose the Adaptive Frequency Enhancement Network (AFENet), which integrates two key components: the Adaptive Frequency and Spatial feature Interaction Module (AFSIM) and the Selective feature Fusion Module (SFM). AFSIM dynamically separates and modulates high- and low-frequency features according to the content of the input image. It adaptively generates two masks to separate high- and low-frequency components, therefore providing optimal details and contextual supplementary information for ground object feature representation. SFM selectively fuses global context and local detailed features to enhance the network’s representation capability. Hence, the interactions between frequency and spatial features are further enhanced. Extensive experiments on three publicly available datasets demonstrate that the proposed AFENet outperforms state-of-the-art methods. In addition, we also validate the effectiveness of AFSIM and SFM in managing diverse land cover types and complex scenarios. Our codes are available at https://github.com/oucailab/AFENet.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL