LOCT: A Lightweight Network Using OC-Transformer for Extracting Buildings and Roads from UAV Aerial Remote Sensing Images

要約

無人航空機 (UAV) のリモート センシング画像からディープ ラーニングによって建物や道路を抽出するセマンティック セグメンテーションは、測量およびマッピング分野での従来の手動セグメンテーションよりも効率的で便利な方法になります。
モデルを軽量化し、モデルの精度を向上させるために、UAV 空中リモート センシング画像からの建物および道路用の OC-Transformer (LOCT) を使用した軽量ネットワークが提案されています。
提案されたネットワークは、Lightweight Densely Connected Network (LDCNet) がエンコーダとして開発されたエンコーダ/デコーダ アーキテクチャを採用しています。
デコーダ部分では、Atrous Spatial Pyramid Pooling モジュール (ASPP) と Object Contextual Transformer モジュール (OC-Transformer) で構成されるデュアル マルチスケール コンテキスト モジュールは、UAV リモート センシング画像の特徴マップからより多くのコンテキスト情報をキャプチャするように設計されています。
.
ASPP と OC-Transformer の間では、Feature Pyramid Network (FPN) モジュールを使用して、ASPP から抽出されたマルチスケールの機能を融合します。
2431 のトレーニング セット、945 の検証セット、および 475 のテスト セットを含む、UAV によって取得されたリモート センシング画像のプライベート データセットが構築されます。
提案されたモデルは、140 万個のパラメーターと 5.48G の浮動小数点演算 (FLOP) のみで、このデータセットでうまく機能し、71.12% の平均交差対結合比 (mIoU) を達成します。
公開された LoveDA データセットと CITY-OSM データセットでのより広範な実験により、提案されたモデルの有効性がさらに検証され、mIoU でそれぞれ 65.27% と 74.39% という優れた結果が得られました。
ソースコードは https://github.com/GtLinyer/LOCT で公開されます。

要約(オリジナル)

Semantic segmentation for extracting buildings and roads, from unmanned aerial vehicle (UAV) remote sensing images by deep learning becomes a more efficient and convenient method than traditional manual segmentation in surveying and mapping field. In order to make the model lightweight and improve the model accuracy, A Lightweight Network Using OC-Transformer (LOCT) for Buildings and Roads from UAV Aerial Remote Sensing Images is proposed. The proposed network adopts an encoder-decoder architecture in which a Lightweight Densely Connected Network (LDCNet) is developed as the encoder. In the decoder part, the dual multi-scale context modules which consist of the Atrous Spatial Pyramid Pooling module (ASPP) and the Object Contextual Transformer module (OC-Transformer) are designed to capture more context information from feature maps of UAV remote sensing images. Between ASPP and OC-Transformer, a Feature Pyramid Network (FPN) module is used to and fuse multi-scale features extracting from ASPP. A private dataset of remote sensing images taken by UAV which contains 2431 training sets, 945 validation sets, and 475 test sets is constructed. The proposed model performs well on this dataset, with only 1.4M parameters and 5.48G floating-point operations (FLOPs), achieving an mean intersection-over-union ratio (mIoU) of 71.12%. More extensive experiments on the public LoveDA dataset and CITY-OSM dataset to further verify the effectiveness of the proposed model with excellent results on mIoU of 65.27% and 74.39%, respectively. The source code will be made available on https://github.com/GtLinyer/LOCT .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google