SSLChange: A Self-supervised Change Detection Framework Based on Domain Adaptation

要約

従来のリモートセンシング変化検出（RS CD）手順では、その後の完全教師付きトレーニングのパフォーマンスを維持するために、まずバイテンポラル画像に対する広範な手動ラベル付けが必要です。
ただし、CD タスクのピクセル レベルのラベル付けは非常に複雑で時間がかかります。
この論文では、RS CD タスクに適用できる新しい自己教師あり対比フレームワークを検討します。これは、ドメイン アダプターと階層対比ヘッドを通じて、モデルが空間的、構造的、および意味論的な情報を正確に捕捉することを促進します。
提案された SSLChange フレームワークは、単一時間サンプルを取得するだけで自己学習を実現し、主流の CD ベースラインに柔軟に移行できます。
自己教師あり対比学習では、ラベルを付けなくても、元のデータに基づいて特徴表現の事前トレーニングを直接実行できます。
その後、一定量のラベルが取得された後、事前にトレーニングされた特徴がラベルと位置合わせされ、完全に監視された微調整が行われます。
追加のデータやラベルを導入しなくても、下流のベースラインのパフォーマンスが大幅に向上します。
2 つのデータセット全体と 6 つの希釈データセットに関する実験結果は、私たちが提案した SSLChange が、データが制限された状況における CD ベースラインのパフォーマンスと安定性を向上させることを示しています。
SSLChange のコードは \url{https://github.com/MarsZhaoYT/SSLChange} で公開されます。

要約(オリジナル)

In conventional remote sensing change detection (RS CD) procedures, extensive manual labeling for bi-temporal images is first required to maintain the performance of subsequent fully supervised training. However, pixel-level labeling for CD tasks is very complex and time-consuming. In this paper, we explore a novel self-supervised contrastive framework applicable to the RS CD task, which promotes the model to accurately capture spatial, structural, and semantic information through domain adapter and hierarchical contrastive head. The proposed SSLChange framework accomplishes self-learning only by taking a single-temporal sample and can be flexibly transferred to main-stream CD baselines. With self-supervised contrastive learning, feature representation pre-training can be performed directly based on the original data even without labeling. After a certain amount of labels are subsequently obtained, the pre-trained features will be aligned with the labels for fully supervised fine-tuning. Without introducing any additional data or labels, the performance of downstream baselines will experience a significant enhancement. Experimental results on 2 entire datasets and 6 diluted datasets show that our proposed SSLChange improves the performance and stability of CD baseline in data-limited situations. The code of SSLChange will be released at \url{https://github.com/MarsZhaoYT/SSLChange}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google