Toward distortion-aware change detection in realistic scenarios

要約

従来の変化検出 (CD) パイプラインでは、手動で登録されラベル付けされた 2 つのリモート センシング データセットが、トレーニングと予測のためのモデルの入力として機能します。
ただし、現実的なシナリオでは、さまざまな座標系の結果として、異なる期間またはセンサーからのデータを調整できない可能性があります。
座標シフトによって引き起こされる幾何学的歪みは、CD アルゴリズムにとって依然として厄介な問題です。
この論文では、CD タスクにおけるバイテンポラル幾何学的歪みに対する再利用可能な自己教師ありフレームワークを提案します。
フレームワーク全体は、プリテキスト表現の事前トレーニング、バイテンポラル画像アライメント、およびダウンストリーム デコーダーの微調整で構成されます。
単一ステージの事前トレーニングだけで、フレームワークの主要コンポーネントを再利用してバイテンポラル画像の位置合わせを支援できると同時に、CD デコーダのパフォーマンスを向上させることができます。
2 つの大規模な現実的なシナリオでの実験結果は、提案した方法が CD タスクにおけるバイタイムラルの幾何学的歪みを軽減できることを示しています。

要約(オリジナル)

In the conventional change detection (CD) pipeline, two manually registered and labeled remote sensing datasets serve as the input of the model for training and prediction. However, in realistic scenarios, data from different periods or sensors could fail to be aligned as a result of various coordinate systems. Geometric distortion caused by coordinate shifting remains a thorny issue for CD algorithms. In this paper, we propose a reusable self-supervised framework for bitemporal geometric distortion in CD tasks. The whole framework is composed of Pretext Representation Pre-training, Bitemporal Image Alignment, and Down-stream Decoder Fine-Tuning. With only single-stage pre-training, the key components of the framework can be reused for assistance in the bitemporal image alignment, while simultaneously enhancing the performance of the CD decoder. Experimental results in 2 large-scale realistic scenarios demonstrate that our proposed method can alleviate the bitemporal geometric distortion in CD tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google