MapFormer: Boosting Change Detection by Using Pre-change Information

要約

タイトル: MapFormer：事前の情報を利用した変化検出の強化
要約:
– 遠隔検出画像の変化検出は、都市計画、災害管理、気候研究などのさまざまなアプリケーションに必要。
– しかしながら、表面特徴を説明する既存の地図の形式である意味情報の入手可能性を見落とす方法が存在する。
– 本研究では、バイテンポラル画像の変化検出においてこの情報を利用し、追加情報を潜在的な表現の結合を介して簡単に統合することで、最新の変化検出方法を大幅に上回ることを示す。
– この観察にモチベーションを得て、「事前変数条件つき変化検出」という新しいタスクを提案する。
– 追加情報を完全に活用するために、MapFormerという新しいアーキテクチャを提案し、マルチモーダル特徴融合モジュールに基づくもので、利用可能な意味情報に基づいて機能処理を許可する。
– さらに、視覚的表現の学習を指導する教師付きクロスモーダル対照損失を採用する。
– アプローチは、DynamicEarthNetおよびHRSCDにおいてバイナリ変更IoUの絶対値11.7％および18.4％で既存の変更検出方法を上回ることを示す。
– さらに、事前の意味情報の品質や、事前の画像がない場合でもアプローチのロバスト性を示す。
– ソースコードは公に公開されます。

要約(オリジナル)

Change detection in remote sensing imagery is essential for a variety of applications such as urban planning, disaster management, and climate research. However, existing methods for identifying semantically changed areas overlook the availability of semantic information in the form of existing maps describing features of the earth’s surface. In this paper, we leverage this information for change detection in bi-temporal images. We show that the simple integration of the additional information via concatenation of latent representations suffices to significantly outperform state-of-the-art change detection methods. Motivated by this observation, we propose the new task of Conditional Change Detection, where pre-change semantic information is used as input next to bi-temporal images. To fully exploit the extra information, we propose MapFormer, a novel architecture based on a multi-modal feature fusion module that allows for feature processing conditioned on the available semantic information. We further employ a supervised, cross-modal contrastive loss to guide the learning of visual representations. Our approach outperforms existing change detection methods by an absolute 11.7% and 18.4% in terms of binary change IoU on DynamicEarthNet and HRSCD, respectively. Furthermore, we demonstrate the robustness of our approach to the quality of the pre-change semantic information and the absence pre-change imagery. The code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI