Exploring Effective Priors and Efficient Models for Weakly-Supervised Change Detection

要約

弱教師変化検出 (WSCD) は、画像レベルの注釈のみを使用してピクセルレベルの変化を検出することを目的としています。
WSCDはそのラベル効率の良さから、近年ますます注目を集めています。
しかし、現在の WSCD 手法は、変更の欠落や捏造、つまり画像レベルの注釈とピクセルレベルの予測間の不一致という課題にしばしば遭遇します。
具体的には、変更欠落とは、画像レベルのラベルが変更を示しているにもかかわらず、WSCD モデルが変更されたピクセルを予測できない状況を指します。また、変更製造の場合はその逆です。
この課題に対処するために、この研究では、WSCD のグローバル スケールとローカル スケールの事前分布を活用し、拡張事前 (DP) デコーダとラベル ゲート (LG) 制約という 2 つのコンポーネントを提案します。
DP デコーダは、変更された画像レベルのラベルを持つサンプルをデコードし、変更されていないラベルを持つサンプルをスキップし、すべて変更されていないピクセル レベルのラベルに置き換えます。
LG 制約は、変更された表現と画像レベルのラベルの間の対応関係から派生し、変更ステータスの予測を誤った場合にモデルにペナルティを与えます。
さらに、シンプルかつ強力なトランスフォーマーベースのモデルである TransWCD を開発し、変化検出における弱教師あり学習の可能性を示します。
DP デコーダと LG 制約を TransWCD に統合することで、TransWCD-DL を形成します。
私たちが提案する TransWCD と TransWCD-DL は、WHU-CD データセットに対する最先端の手法と比較して、それぞれ +6.33% および +9.55% という大幅な F1 スコア向上を達成しました。
一部のパフォーマンス指標は、完全監視型変更検出 (FSCD) の競合他社を上回っています。
コードは https://github.com/zhenghuizhao/TransWCD で入手できます。

要約(オリジナル)

Weakly-supervised change detection (WSCD) aims to detect pixel-level changes with only image-level annotations. Owing to its label efficiency, WSCD is drawing increasing attention recently. However, current WSCD methods often encounter the challenge of change missing and fabricating, i.e., the inconsistency between image-level annotations and pixel-level predictions. Specifically, change missing refer to the situation that the WSCD model fails to predict any changed pixels, even though the image-level label indicates changed, and vice versa for change fabricating. To address this challenge, in this work, we leverage global-scale and local-scale priors in WSCD and propose two components: a Dilated Prior (DP) decoder and a Label Gated (LG) constraint. The DP decoder decodes samples with the changed image-level label, skips samples with the unchanged label, and replaces them with an all-unchanged pixel-level label. The LG constraint is derived from the correspondence between changed representations and image-level labels, penalizing the model when it mispredicts the change status. Additionally, we develop TransWCD, a simple yet powerful transformer-based model, showcasing the potential of weakly-supervised learning in change detection. By integrating the DP decoder and LG constraint into TransWCD, we form TransWCD-DL. Our proposed TransWCD and TransWCD-DL achieve significant +6.33% and +9.55% F1 score improvements over the state-of-the-art methods on the WHU-CD dataset, respectively. Some performance metrics even exceed several fully-supervised change detection (FSCD) competitors. Code will be available at https://github.com/zhenghuizhao/TransWCD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google