MapFormer: Boosting Change Detection by Using Pre-change Information

要約

リモート センシング画像の変化検出は、都市計画、災害管理、気候研究などのさまざまな用途に不可欠です。
しかし、意味的に変化した領域を特定するための既存の方法では、地表の特徴を記述した既存の地図の形式での意味情報の利用可能性を見落としています。
この論文では、この情報をバイタイム画像の変化検出に活用します。
我々は、潜在表現の連結による追加情報の単純な統合だけで、最先端の変更検出手法を大幅に上回る性能を十分に発揮できることを示します。
この観察に動機付けられて、私たちは *条件変化検出* という新しいタスクを提案します。このタスクでは、変化前の意味情報がバイタイム画像の次の入力として使用されます。
追加情報を最大限に活用するために、利用可能なセマンティック情報に基づいて特徴処理を可能にするマルチモーダル特徴融合モジュールに基づく新しいアーキテクチャである *MapFormer* を提案します。
さらに、視覚表現の学習をガイドするために、教師ありクロスモーダルコントラスト損失を採用します。
私たちのアプローチは、DynamicEarthNet と HRSCD 上のバイナリ変更 IoU に関して、既存の変更検出方法をそれぞれ絶対 11.7\% と 18.4\% 上回っています。
さらに、変更前の意味情報と変更前の不在画像の品質に対するアプローチの堅牢性を実証します。
コードは https://github.com/mxbh/mapformer で入手できます。

要約(オリジナル)

Change detection in remote sensing imagery is essential for a variety of applications such as urban planning, disaster management, and climate research. However, existing methods for identifying semantically changed areas overlook the availability of semantic information in the form of existing maps describing features of the earth’s surface. In this paper, we leverage this information for change detection in bi-temporal images. We show that the simple integration of the additional information via concatenation of latent representations suffices to significantly outperform state-of-the-art change detection methods. Motivated by this observation, we propose the new task of *Conditional Change Detection*, where pre-change semantic information is used as input next to bi-temporal images. To fully exploit the extra information, we propose *MapFormer*, a novel architecture based on a multi-modal feature fusion module that allows for feature processing conditioned on the available semantic information. We further employ a supervised, cross-modal contrastive loss to guide the learning of visual representations. Our approach outperforms existing change detection methods by an absolute 11.7\% and 18.4\% in terms of binary change IoU on DynamicEarthNet and HRSCD, respectively. Furthermore, we demonstrate the robustness of our approach to the quality of the pre-change semantic information and the absence pre-change imagery. The code is available at https://github.com/mxbh/mapformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google