Background-Mixed Augmentation for Weakly Supervised Change Detection

要約

変化検出 (CD) は、長期間にわたって同じシーンでキャプチャされた 2 つの画像の光や季節の変化などの背景の変化 (つまり、環境の変化) からオブジェクトの変化 (つまり、オブジェクトの欠落または出現) を分離することであり、
災害管理、都市開発など。特に、背景の変化の無限のパターンでは、検出器が目に見えない環境の変化に対して高度な一般化を行う必要があり、このタスクを非常に困難にしています。
最近の深層学習ベースの方法は、ペアトレーニングの例を使用して新しいネットワークアーキテクチャまたは最適化戦略を開発しますが、これらは一般化の問題を明示的に処理せず、膨大な手動のピクセルレベルの注釈作業を必要とします。
この作業では、CD コミュニティでの最初の試みとして、データ拡張の観点から CD の一般化の問題を研究し、画像レベルのラベルのみを必要とする新しい弱教師付きトレーニング アルゴリズムを開発します。
分類のための一般的な拡張技術とは異なり、背景が変化する一連の画像のガイダンスの下で例を拡張し、ディープ CD モデルに多様な環境の変化を見せることによって、変化を検出するために特別に設計された背景混合拡張を提案します。
さらに、一般化を大幅に促進する拡張された実際のデータの一貫性の損失を提案します。
一般的なフレームワークとしての私たちの方法は、幅広い既存の深層学習ベースの検出器を強化できます。
2 つの公開データセットで大規模な実験を行い、4 つの最先端の方法を強化して、この方法の利点を実証します。
https://github.com/tsingqguo/bgmix でコードをリリースします。

要約(オリジナル)

Change detection (CD) is to decouple object changes (i.e., object missing or appearing) from background changes (i.e., environment variations) like light and season variations in two images captured in the same scene over a long time span, presenting critical applications in disaster management, urban development, etc. In particular, the endless patterns of background changes require detectors to have a high generalization against unseen environment variations, making this task significantly challenging. Recent deep learning-based methods develop novel network architectures or optimization strategies with paired-training examples, which do not handle the generalization issue explicitly and require huge manual pixel-level annotation efforts. In this work, for the first attempt in the CD community, we study the generalization issue of CD from the perspective of data augmentation and develop a novel weakly supervised training algorithm that only needs image-level labels. Different from general augmentation techniques for classification, we propose the background-mixed augmentation that is specifically designed for change detection by augmenting examples under the guidance of a set of background-changing images and letting deep CD models see diverse environment variations. Moreover, we propose the augmented & real data consistency loss that encourages the generalization increase significantly. Our method as a general framework can enhance a wide range of existing deep learning-based detectors. We conduct extensive experiments in two public datasets and enhance four state-of-the-art methods, demonstrating the advantages of our method. We release the code at https://github.com/tsingqguo/bgmix.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google