Transformer Meets Convolution: A Bilateral Awareness Network for Semantic Segmentation of Very Fine Resolution Urban Scene Images

要約

非常に細かい解像度（VFR）の都市シーン画像からのセマンティックセグメンテーションは、自動運転、土地被覆分類、都市計画などを含むいくつかのアプリケーションシナリオで重要な役割を果たします。ただし、VFR画像に含まれる途方もない詳細、特に
オブジェクトのスケールと外観は、既存の深層学習アプローチの可能性を大幅に制限します。
このような問題に取り組むことは、リモートセンシングコミュニティにおける有望な研究分野であり、シーンレベルの景観パターン分析と意思決定への道を開きます。
本論文では、VFR画像の長距離関係と詳細を完全にキャプチャするための依存パスとテクスチャパスを含むBilateralAwarenessNetworkを提案します。
具体的には、依存パスは、メモリ効率の高いマルチヘッド自己注意を備えた新しいTransformerバックボーンであるResTに基づいて実行され、テクスチャパスはスタック畳み込み演算に基づいて構築されます。
さらに、線形アテンションメカニズムを使用して、機能集約モジュールは、依存関係機能とテクスチャ機能を効果的に融合するように設計されています。
3つの大規模な都市シーン画像セグメンテーションデータセット、つまりISPRS Vaihingenデータセット、ISPRS Potsdamデータセット、およびUAVidデータセットで実施された広範な実験は、BANetの有効性を示しています。
具体的には、UAVidデータセットで64.6％のmIoUが達成されます。
コードはhttps://github.com/WangLibo1995/GeoSegで入手できます。

要約(オリジナル)

Semantic segmentation from very fine resolution (VFR) urban scene images plays a significant role in several application scenarios including autonomous driving, land cover classification, and urban planning, etc. However, the tremendous details contained in the VFR image, especially the considerable variations in scale and appearance of objects, severely limit the potential of the existing deep learning approaches. Addressing such issues represents a promising research field in the remote sensing community, which paves the way for scene-level landscape pattern analysis and decision making. In this paper, we propose a Bilateral Awareness Network which contains a dependency path and a texture path to fully capture the long-range relationships and fine-grained details in VFR images. Specifically, the dependency path is conducted based on the ResT, a novel Transformer backbone with memory-efficient multi-head self-attention, while the texture path is built on the stacked convolution operation. Besides, using the linear attention mechanism, a feature aggregation module is designed to effectively fuse the dependency features and texture features. Extensive experiments conducted on the three large-scale urban scene image segmentation datasets, i.e., ISPRS Vaihingen dataset, ISPRS Potsdam dataset, and UAVid dataset, demonstrate the effectiveness of our BANet. Specifically, a 64.6% mIoU is achieved on the UAVid dataset. Code is available at https://github.com/WangLibo1995/GeoSeg.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google