How to Reduce Change Detection to Semantic Segmentation

要約

変化検出 (CD) は、異なる時間に撮影された画像ペアで発生した変化を識別することを目的としています。
従来の方法では、特定のネットワークを最初から考案して、ピクセル レベルで変更マスクを予測し、一般的なセグメンテーションの問題に取り組んでいました。
この論文では、CDをセマンティックセグメンテーションに還元する新しいパラダイムを提案します。これは、CDを解決するために既存の強力なセマンティックセグメンテーションネットワークを調整することを意味します。
この新しいパラダイムは、主流のセマンティック セグメンテーション テクニックを便利に利用して、CD の一般的なセグメンテーションの問題を処理します。
したがって、変化を検出する方法の研究に集中できます。
CDにはさまざまな種類の変更が存在し、それらは個別に学習する必要があるという斬新で重要な洞察を提案します。
それに基づいて、MTF という名前のモジュールを考案して、変更情報を抽出し、時間的特徴を融合します。
MTF は高い解釈可能性を享受し、CD の本質的な特性を明らかにします。
また、ほとんどのセグメンテーション ネットワークは、MTF モジュールを使用して CD の問題を解決するように適応させることができます。
最後に、ピクセルレベルで変化を検出するネットワークである C-3PO を提案します。
C-3PO は、余計なものを一切使わずに最先端のパフォーマンスを実現します。
シンプルですが効果的で、この分野の新しいベースラインと見なすことができます。
コードは https://github.com/DoctorKey/C-3PO にあります。

要約(オリジナル)

Change detection (CD) aims to identify changes that occur in an image pair taken different times. Prior methods devise specific networks from scratch to predict change masks in pixel-level, and struggle with general segmentation problems. In this paper, we propose a new paradigm that reduces CD to semantic segmentation which means tailoring an existing and powerful semantic segmentation network to solve CD. This new paradigm conveniently enjoys the mainstream semantic segmentation techniques to deal with general segmentation problems in CD. Hence we can concentrate on studying how to detect changes. We propose a novel and importance insight that different change types exist in CD and they should be learned separately. Based on it, we devise a module named MTF to extract the change information and fuse temporal features. MTF enjoys high interpretability and reveals the essential characteristic of CD. And most segmentation networks can be adapted to solve the CD problems with our MTF module. Finally, we propose C-3PO, a network to detect changes at pixel-level. C-3PO achieves state-of-the-art performance without bells and whistles. It is simple but effective and can be considered as a new baseline in this field. Our code is at https://github.com/DoctorKey/C-3PO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google