Improving Zero-Shot Object-Level Change Detection by Incorporating Visual Correspondence

要約

異なるビューにわたる 2 つの画像間のオブジェクトレベルの変化を検出することは、目視検査やカメラ監視を含む多くのアプリケーションにおいて中心的なタスクです。
既存の変化検出アプローチには 3 つの大きな制限があります。(1) 変化を含まない画像ペアの評価が欠如しているため、報告されない偽陽性率が発生します。
(2) 対応の欠如 (つまり、変更前後の領域のローカライズ)。
(3) さまざまなドメインにわたるゼロショットの一般化が不十分です。
これらの問題に対処するために、変更対応を活用する新しい方法を導入します。(a) トレーニング中に変更検出の精度を向上させ、(b) テスト時に誤検知を最小限に抑えます。
つまり、オブジェクトが追加または削除された場所の監視ラベルを利用して変更検出器を監視し、以前の作業に比べて精度を大幅に向上させます。
私たちの研究はまた、推定されたホモグラフィーとハンガリーのアルゴリズムを使用して、検出された変化のペア間の対応関係を予測した最初の研究でもあります。
私たちのモデルは既存の手法よりも優れたパフォーマンスを示し、分散内ベンチマークとゼロショット ベンチマークの両方で変更検出と変更対応精度において最先端の結果を達成します。

要約(オリジナル)

Detecting object-level changes between two images across possibly different views is a core task in many applications that involve visual inspection or camera surveillance. Existing change-detection approaches suffer from three major limitations: (1) lack of evaluation on image pairs that contain no changes, leading to unreported false positive rates; (2) lack of correspondences (i.e., localizing the regions before and after a change); and (3) poor zero-shot generalization across different domains. To address these issues, we introduce a novel method that leverages change correspondences (a) during training to improve change detection accuracy, and (b) at test time, to minimize false positives. That is, we harness the supervision labels of where an object is added or removed to supervise change detectors, improving their accuracy over previous work by a large margin. Our work is also the first to predict correspondences between pairs of detected changes using estimated homography and the Hungarian algorithm. Our model demonstrates superior performance over existing methods, achieving state-of-the-art results in change detection and change correspondence accuracy across both in-distribution and zero-shot benchmarks.

arxiv情報

著者 Hung Huy Nguyen,Pooyan Rahmanzadehgervi,Long Mai,Anh Totti Nguyen
発行日 2025-01-16 16:00:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV パーマリンク