UCDFormer: Unsupervised Change Detection Using a Transformer-driven Image Translation

要約

2 つのバイタイム画像を比較することによる変化検出 (CD) は、リモート センシングにおいて重要なタスクです。
面倒なラベル付き変更情報を必要としないという利点により、アンスーパーバイズド CD はコミュニティで幅広い注目を集めています。
しかし、既存の教師なし CD アプローチでは、多時間画像の照明や大気条件によって生じる季節やスタイルの違いがほとんど考慮されていません。
この目的を達成するために、リモートセンシング画像に対するドメインシフト設定による変化検出を提案します。
さらに、UCDFormer と呼ばれる軽量トランスを使用した新しい教師なし CD 方式を提案します。
具体的には、リアルタイム効率で 2 つの画像間のドメイン シフトを軽減するために、軽量トランスフォーマーとドメイン固有のアフィニティ ウェイトで構成されるトランスフォーマー駆動の画像変換が最初に提案されます。
画像の変換後、変換されたイベント前の画像と元のイベント後の画像の間の差分マップを生成できます。
次に,ファジーC平均クラスタリングと適応閾値の擬似変化マップを融合することによって,大幅に変化した/未変化の画素位置を選択するための新しい信頼性の高い画素抽出モジュールを提案した。
最後に、これらの選択されたピクセル ペアとバイナリ分類器に基づいてバイナリ変更マップが取得されます。
季節やスタイルの変更を伴うさまざまな教師なし CD タスクの実験結果は、提案された UCDFormer の有効性を示しています。
たとえば、他のいくつかの関連メソッドと比較して、UCDFormer はカッパ係数のパフォーマンスを 12\% 以上向上させます。
さらに、UCDFormer は、大規模なアプリケーションを考慮した場合、地震による地滑り検出においても優れたパフォーマンスを実現します。
コードは \url{https://github.com/zhu-xlab/UCDFormer} で入手できます。

要約(オリジナル)

Change detection (CD) by comparing two bi-temporal images is a crucial task in remote sensing. With the advantages of requiring no cumbersome labeled change information, unsupervised CD has attracted extensive attention in the community. However, existing unsupervised CD approaches rarely consider the seasonal and style differences incurred by the illumination and atmospheric conditions in multi-temporal images. To this end, we propose a change detection with domain shift setting for remote sensing images. Furthermore, we present a novel unsupervised CD method using a light-weight transformer, called UCDFormer. Specifically, a transformer-driven image translation composed of a light-weight transformer and a domain-specific affinity weight is first proposed to mitigate domain shift between two images with real-time efficiency. After image translation, we can generate the difference map between the translated before-event image and the original after-event image. Then, a novel reliable pixel extraction module is proposed to select significantly changed/unchanged pixel positions by fusing the pseudo change maps of fuzzy c-means clustering and adaptive threshold. Finally, a binary change map is obtained based on these selected pixel pairs and a binary classifier. Experimental results on different unsupervised CD tasks with seasonal and style changes demonstrate the effectiveness of the proposed UCDFormer. For example, compared with several other related methods, UCDFormer improves performance on the Kappa coefficient by more than 12\%. In addition, UCDFormer achieves excellent performance for earthquake-induced landslide detection when considering large-scale applications. The code is available at \url{https://github.com/zhu-xlab/UCDFormer}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google