AnomalyCD: A benchmark for Earth anomaly change detection with high-resolution and time-series observations

要約

地球のさまざまな異常により、安定したバランスのとれた状態が破壊され、死者と重大な財産の破壊が発生しました。
高解像度のリモートセンシング画像は、大規模かつ正確な観察という利点を備え、異常の監視と位置特定に広く使用されています。
ディープ表現を活用した既存の手法は、主に分類および変更検出技術において目覚ましい進歩を遂げました。
しかし、異常の発生確率が低いためラベル付きサンプルの取得が難しく、学習済みモデルが固定の異常カテゴリに限定されるため、サンプルが少ない異常や未知の異常への適用が困難です。
この論文では、この問題に取り組むために、時系列観測を受け入れ、過去の正常な変化パターンから学習することで異常な変化を識別する方法を学習する異常変化検出 (AnomalyCD) 手法を提案します。
既存の技術と比較して、AnomalyCD は不定数のタイム ステップを処理し、人間の監視なしで統合された方法でさまざまな異常の位置を特定できます。
AnomalyCD のベンチマークを行うために、さまざまな地球異常専用の時系列画像を含む高解像度データセット (AnomalyCDD データセット) を構築しました。
AnomalyCDD には、世界中で収集された高解像度 (0.15 ～ 2.39 m/ピクセル)、時系列 (3 ～ 7 タイム ステップ)、および大規模画像 (合計 1927.93 km2) が含まれています。さらに、ゼロショット ベースライン モデルを開発しました。
(AnomalyCDM) は、セグメント エニシング モデル (SAM) から一般表現を抽出し、時間的比較を実行して異常な変化を正常な変化から区別することによって AnomalyCD 技術を実装します。
AnomalyCDM は効率を高める 2 段階のワークフローとして設計されており、シーンごとに再トレーニングすることなく、目に見えない画像を直接処理する機能を備えています。

要約(オリジナル)

Various Earth anomalies have destroyed the stable, balanced state, resulting in fatalities and serious destruction of property. With the advantages of large-scale and precise observation, high-resolution remote sensing images have been widely used for anomaly monitoring and localization. Powered by the deep representation, the existing methods have achieved remarkable advances, primarily in classification and change detection techniques. However, labeled samples are difficult to acquire due to the low probability of anomaly occurrence, and the trained models are limited to fixed anomaly categories, which hinders the application for anomalies with few samples or unknown anomalies. In this paper, to tackle this problem, we propose the anomaly change detection (AnomalyCD) technique, which accepts time-series observations and learns to identify anomalous changes by learning from the historical normal change pattern. Compared to the existing techniques, AnomalyCD processes an unfixed number of time steps and can localize the various anomalies in a unified manner, without human supervision. To benchmark AnomalyCD, we constructed a high-resolution dataset with time-series images dedicated to various Earth anomalies (the AnomalyCDD dataset). AnomalyCDD contains high-resolution (from 0.15 to 2.39 m/pixel), time-series (from 3 to 7 time steps), and large-scale images (1927.93 km2 in total) collected globally Furthermore, we developed a zero-shot baseline model (AnomalyCDM), which implements the AnomalyCD technique by extracting a general representation from the segment anything model (SAM) and conducting temporal comparison to distinguish the anomalous changes from normal changes. AnomalyCDM is designed as a two-stage workflow to enhance the efficiency, and has the ability to process the unseen images directly, without retraining for each scene.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google