Unsupervised Multimodal Change Detection Based on Structural Relationship Graph Representation Learning

要約

教師なしマルチモーダル変化検出は、時間的制約のある緊急アプリケーションにおいて重要な役割を果たすことができる、実用的かつ挑戦的なテーマである。マルチモーダルリモートセンシング画像は、そのモード異質性により直接比較できないという課題を解決するために、マルチモーダル画像に含まれる2種類のモードに依存しない構造的関係を利用する。特に、2つの構造的関係の類似度を測定するための構造的関係グラフ表現学習の枠組みを提示する。まず、オブジェクトベースの画像解析アプローチにより、前処理されたマルチモーダル画像ペアから構造グラフを生成する。次に、グラフから頑健で代表的な特徴を学習するために、構造的関係グラフ畳み込みオートエンコーダ(SR-GCAE)が提案される。また、学習した特徴を構造的関係の類似度測定に適用できるように、頂点情報とエッジ情報の再構成を目的とした2つの損失関数を提示する。その後、学習したグラフ表現から2つの構造的関係の類似度を計算し、その類似度に基づいて2つの差分画像を生成する。差分画像を得た後、2つの差分画像を融合するための適応的融合戦略が提示される。最後に、検出結果を洗練させるために、モルフォロジカルフィルタリングに基づく後処理アプローチを採用する。異なるモードの組み合わせを持つ5つのデータセットに対する実験結果から、提案手法の有効性が実証された。

要約(オリジナル)

Unsupervised multimodal change detection is a practical and challenging topic that can play an important role in time-sensitive emergency applications. To address the challenge that multimodal remote sensing images cannot be directly compared due to their modal heterogeneity, we take advantage of two types of modality-independent structural relationships in multimodal images. In particular, we present a structural relationship graph representation learning framework for measuring the similarity of the two structural relationships. Firstly, structural graphs are generated from preprocessed multimodal image pairs by means of an object-based image analysis approach. Then, a structural relationship graph convolutional autoencoder (SR-GCAE) is proposed to learn robust and representative features from graphs. Two loss functions aiming at reconstructing vertex information and edge information are presented to make the learned representations applicable for structural relationship similarity measurement. Subsequently, the similarity levels of two structural relationships are calculated from learned graph representations and two difference images are generated based on the similarity levels. After obtaining the difference images, an adaptive fusion strategy is presented to fuse the two difference images. Finally, a morphological filtering-based postprocessing approach is employed to refine the detection results. Experimental results on five datasets with different modal combinations demonstrate the effectiveness of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL