Learning to Aggregate Multi-Scale Context for Instance Segmentation in Remote Sensing Images

要約

リモート センシング画像におけるインスタンス セグメンテーションのタスクは、オブジェクトのピクセルごとのラベル付けをインスタンス レベルで実行することを目的としており、さまざまな民生用途にとって非常に重要です。
これまでの成功にもかかわらず、自然画像用に設計された既存のインスタンス セグメンテーション手法のほとんどは、トップビューのリモート センシング画像に直接適用すると、急激なパフォーマンスの低下に遭遇します。
注意深く分析した結果、この課題は主に、深刻なスケールの変動、低コントラスト、クラスター化した分布による識別可能なオブジェクトの特徴の欠如に起因していることがわかりました。
これらの問題に対処するために、特徴抽出プロセスを改善する新しいコンテキスト集約ネットワーク (CATNet) が提案されています。
提案されたモデルは、高密度フィーチャ ピラミッド ネットワーク (DenseFPN)、空間コンテキスト ピラミッド (SCP)、および階層的関心領域エクストラクター (HRoIE) という 3 つの軽量プラグ アンド プレイ モジュールを利用して、フィーチャ、空間、および階層的なビジュアル コンテキストを集約します。
それぞれインスタンス ドメイン。
DenseFPN は、レベル間残差接続、レベル間の高密度接続、および特徴の再重み付け戦略を採用することにより、より柔軟な情報フローを確立するマルチスケール特徴伝播モジュールです。
SCP は、アテンション メカニズムを活用して、グローバルな空間コンテキストをローカル領域に集約することで、特徴をさらに強化します。
HRoIE は、インスタンスごとに、さまざまなダウンストリーム タスクの RoI 特徴を適応的に生成します。
iSAID、DIOR、NWPU VHR-10、および HRSID データセットに対する提案されたスキームの広範な評価により、提案されたアプローチが同様の計算コストの下で最先端のアプローチを上回るパフォーマンスが実証されました。
ソース コードと事前トレーニングされたモデルは、https://github.com/yeliudev/CATNet で入手できます。

要約(オリジナル)

The task of instance segmentation in remote sensing images, aiming at performing per-pixel labeling of objects at instance level, is of great importance for various civil applications. Despite previous successes, most existing instance segmentation methods designed for natural images encounter sharp performance degradations when they are directly applied to top-view remote sensing images. Through careful analysis, we observe that the challenges mainly come from the lack of discriminative object features due to severe scale variations, low contrasts, and clustered distributions. In order to address these problems, a novel context aggregation network (CATNet) is proposed to improve the feature extraction process. The proposed model exploits three lightweight plug-and-play modules, namely dense feature pyramid network (DenseFPN), spatial context pyramid (SCP), and hierarchical region of interest extractor (HRoIE), to aggregate global visual context at feature, spatial, and instance domains, respectively. DenseFPN is a multi-scale feature propagation module that establishes more flexible information flows by adopting inter-level residual connections, cross-level dense connections, and feature re-weighting strategy. Leveraging the attention mechanism, SCP further augments the features by aggregating global spatial context into local regions. For each instance, HRoIE adaptively generates RoI features for different downstream tasks. Extensive evaluations of the proposed scheme on iSAID, DIOR, NWPU VHR-10, and HRSID datasets demonstrate that the proposed approach outperforms state-of-the-arts under similar computational costs. Source code and pre-trained models are available at https://github.com/yeliudev/CATNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google