A Novel Transformer Based Semantic Segmentation Scheme for Fine-Resolution Remote Sensing Images

要約

エンコーダ-デコーダアーキテクチャを備えた完全畳み込みネットワーク（FCN）は、セマンティックセグメンテーションの標準パラダイムです。
エンコーダ-デコーダアーキテクチャは、エンコーダを利用してマルチレベルの機能マップをキャプチャします。マルチレベルの機能マップは、デコーダによって最終的な予測に組み込まれます。
コンテキストは正確なセグメンテーションにとって重要であるため、拡張/激しい畳み込みの採用や注意モジュールの挿入など、インテリジェントな方法でそのような情報を抽出するために多大な努力が払われてきました。
ただし、これらの取り組みはすべて、ResNetまたはその他のバックボーンを備えたFCNアーキテクチャに基づいており、理論的な概念からのコンテキストを完全に活用することはできません。
対照的に、コンテキスト情報を抽出するバックボーンとしてSwin Transformerを導入し、解像度を復元してセグメンテーションマップを生成するために、密に接続された機能集約モジュール（DCFAM）の新しいデコーダーを設計します。
2つのリモートセンシングされたセマンティックセグメンテーションデータセットの実験結果は、提案されたスキームの有効性を示しています。コードはhttps://github.com/WangLibo1995/GeoSegで入手できます。

要約(オリジナル)

The fully convolutional network (FCN) with an encoder-decoder architecture has been the standard paradigm for semantic segmentation. The encoder-decoder architecture utilizes an encoder to capture multilevel feature maps, which are incorporated into the final prediction by a decoder. As the context is crucial for precise segmentation, tremendous effort has been made to extract such information in an intelligent fashion, including employing dilated/atrous convolutions or inserting attention modules. However, these endeavors are all based on the FCN architecture with ResNet or other backbones, which cannot fully exploit the context from the theoretical concept. By contrast, we introduce the Swin Transformer as the backbone to extract the context information and design a novel decoder of densely connected feature aggregation module (DCFAM) to restore the resolution and produce the segmentation map. The experimental results on two remotely sensed semantic segmentation datasets demonstrate the effectiveness of the proposed scheme.Code is available at https://github.com/WangLibo1995/GeoSeg

arxiv情報

提供元, 利用サービス

arxiv.jp, Google