SChanger: Change Detection from a Semantic Change and Spatial Consistency Perspective

要約

変更検出は、地球観測アプリケーションの重要なタスクです。
最近、ディープラーニング方法は、強力なパフォーマンスと広範なアプリケーションを実証しています。
ただし、変化検出は、同じ領域のリモートセンシング画像を正確に整列させる労働集約的なプロセスにより、データ不足に直面しているため、深い学習アルゴリズムのパフォーマンスが制限されます。
データ不足の問題に対処するために、Semantic Change Network（SCN）と呼ばれる微調整戦略を開発します。
最初は、インスタンス機能抽出の事前知識を獲得するために、単一時間の教師付きタスクのモデルを事前訓練しました。
このモデルは、この事前知識を維持するために、共有重量のシアムアーキテクチャと拡張時間融合モジュール（TFM）を採用し、変化検出タスクで微調整されます。
すべてのインスタンスを識別するための学習されたセマンティクスは、変更のみを識別することに焦点を合わせて変更されます。
一方、2つの画像間の変更の位置は空間的に同一であり、空間的一貫性と呼ばれる概念であることがわかります。
この誘導バイアスを、大型型の畳み込みによって生成され、両方の時点からの機能に適用される注意マップを介して導入します。
これにより、マルチスケールの変化のモデリングが強化され、変更検出セマンティクスにおける根本的な関係を捉えるのに役立ちます。
これら2つの戦略を利用して、バイナリ変化検出モデルを開発します。
このモデルは、6つのデータセットで最先端の方法に対して検証され、すべてのベンチマーク方法を超え、92.87％、86.43％、68.95％、97.62％、84.58％、および93.20％のF1スコアを実現します。

要約(オリジナル)

Change detection is a key task in Earth observation applications. Recently, deep learning methods have demonstrated strong performance and widespread application. However, change detection faces data scarcity due to the labor-intensive process of accurately aligning remote sensing images of the same area, which limits the performance of deep learning algorithms. To address the data scarcity issue, we develop a fine-tuning strategy called the Semantic Change Network (SCN). We initially pre-train the model on single-temporal supervised tasks to acquire prior knowledge of instance feature extraction. The model then employs a shared-weight Siamese architecture and extended Temporal Fusion Module (TFM) to preserve this prior knowledge and is fine-tuned on change detection tasks. The learned semantics for identifying all instances is changed to focus on identifying only the changes. Meanwhile, we observe that the locations of changes between the two images are spatially identical, a concept we refer to as spatial consistency. We introduce this inductive bias through an attention map that is generated by large-kernel convolutions and applied to the features from both time points. This enhances the modeling of multi-scale changes and helps capture underlying relationships in change detection semantics. We develop a binary change detection model utilizing these two strategies. The model is validated against state-of-the-art methods on six datasets, surpassing all benchmark methods and achieving F1 scores of 92.87%, 86.43%, 68.95%, 97.62%, 84.58%, and 93.20% on the LEVIR-CD, LEVIR-CD+, S2Looking, CDD, SYSU-CD, and WHU-CD datasets, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google