How to Reduce Change Detection to Semantic Segmentation

要約

変化検出（CD）は、異なる時間に撮影された画像ペアで発生する変化を識別することを目的としています。
以前の方法では、特定のネットワークをゼロから考案して、ピクセルレベルで変更マスクを予測し、一般的なセグメンテーションの問題に苦労しています。
この論文では、CDをセマンティックセグメンテーションに還元する新しいパラダイムを提案します。これは、CDを解決するために既存の強力なセマンティックセグメンテーションネットワークを調整することを意味します。
この新しいパラダイムは、CDの一般的なセグメンテーション問題に対処するための主流のセマンティックセグメンテーション手法を便利に利用しています。
したがって、変化を検出する方法の研究に集中できます。
CDにはさまざまな変更タイプが存在し、それらを個別に学習する必要があるという、斬新で重要な洞察を提案します。
これに基づいて、MTFという名前のモジュールを考案し、変更情報を抽出して時間的特徴を融合します。
MTFは高い解釈可能性を享受し、CDの本質的な特徴を明らかにします。
また、ほとんどのセグメンテーションネットワークは、MTFモジュールでCDの問題を解決するように適合させることができます。
最後に、ピクセルレベルで変化を検出するネットワークであるC-3POを提案します。
C-3POは、ベルやホイッスルなしで最先端のパフォーマンスを実現します。
これは単純ですが効果的であり、この分野の新しいベースラインと見なすことができます。
私たちのコードが利用可能になります。

要約(オリジナル)

Change detection (CD) aims to identify changes that occur in an image pair taken different times. Prior methods devise specific networks from scratch to predict change masks in pixel-level, and struggle with general segmentation problems. In this paper, we propose a new paradigm that reduces CD to semantic segmentation which means tailoring an existing and powerful semantic segmentation network to solve CD. This new paradigm conveniently enjoys the mainstream semantic segmentation techniques to deal with general segmentation problems in CD. Hence we can concentrate on studying how to detect changes. We propose a novel and importance insight that different change types exist in CD and they should be learned separately. Based on it, we devise a module named MTF to extract the change information and fuse temporal features. MTF enjoys high interpretability and reveals the essential characteristic of CD. And most segmentation networks can be adapted to solve the CD problems with our MTF module. Finally, we propose C-3PO, a network to detect changes at pixel-level. C-3PO achieves state-of-the-art performance without bells and whistles. It is simple but effective and can be considered as a new baseline in this field. Our code will be available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google