The Change You Want To Detect: Semantic Change Detection In Earth Observation With Hybrid Data Generation

要約

超高解像度(VHR)画像に基づくスケールでの二時的変化検出は、地球モニタリングにとって極めて重要である。これまでのところ、この問題はあまり解決されていません。手法には大量の注釈付きデータ（セマンティック・ケース）が必要であるか、限られたデータセット（バイナリ・セットアップ）に限られています。ほとんどのアプローチは、時間的・空間的適応に必要な汎用性を示していない。アーキテクチャ設計の単純さと、現実的で包括的なデータセットでの事前学習である。合成データセットは重要な解決策であるが、それでも複雑で多様なシーンを扱うことはできない。この論文では、実際のVHR画像と塗りつぶした画像の両方を含む、大規模なハイブリッド意味的変化検出データセットを作成するための生成的パイプラインであるHySCDGを紹介する。HySCDGは意味的・空間的に導かれ、現実的な画像を生成し、包括的でハイブリッドな転移防止データセットFSC-180kを導く。我々はFSC-180kを5つの変化検出ケース（バイナリーとセマンティック）で評価した。実験により、我々のハイブリッドデータセットでの事前学習が大幅な性能向上をもたらし、全ての構成において完全合成データセットであるSyntheWorldを凌駕することが実証された。全てのコード、モデル、データはこちらから入手可能： https://yb23.github.io/projects/cywd/

要約(オリジナル)

Bi-temporal change detection at scale based on Very High Resolution (VHR) images is crucial for Earth monitoring. This remains poorly addressed so far: methods either require large volumes of annotated data (semantic case), or are limited to restricted datasets (binary set-ups). Most approaches do not exhibit the versatility required for temporal and spatial adaptation: simplicity in architecture design and pretraining on realistic and comprehensive datasets. Synthetic datasets are the key solution but still fail to handle complex and diverse scenes. In this paper, we present HySCDG a generative pipeline for creating a large hybrid semantic change detection dataset that contains both real VHR images and inpainted ones, along with land cover semantic map at both dates and the change map. Being semantically and spatially guided, HySCDG generates realistic images, leading to a comprehensive and hybrid transfer-proof dataset FSC-180k. We evaluate FSC-180k on five change detection cases (binary and semantic), from zero-shot to mixed and sequential training, and also under low data regime training. Experiments demonstrate that pretraining on our hybrid dataset leads to a significant performance boost, outperforming SyntheWorld, a fully synthetic dataset, in every configuration. All codes, models, and data are available here: https://yb23.github.io/projects/cywd/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL