DynamicEarth: How Far are We from Open-Vocabulary Change Detection?

要約

進化する地球の土地被覆を監視するには、幅広いカテゴリーや状況にわたる変化を検出できる方法が必要です。
既存の変更検出方法は、事前定義されたクラスへの依存によって妨げられ、オープンワールド アプリケーションでの有効性が低下します。
この問題に対処するために、視覚と言語を橋渡ししてあらゆるカテゴリにわたる変更を検出する新しいタスクであるオープン語彙変更検出 (OVCD) を導入します。
高品質のデータとアノテーションが不足していることを考慮して、OVCD タスク用の既製の基礎モデルを活用して統合する、トレーニング不要の 2 つのフレームワーク M-C-I と I-M-C を提案します。
M-C-I フレームワークの背後にある洞察は、すべての潜在的な変化を発見し、これらの変化を分類することですが、I-M-C フレームワークの洞察は、対象となるすべてのターゲットを特定し、それらの状態が変化したかどうかを判断することです。
これら 2 つのフレームワークに基づいて、SAM-DINOv2-SegEarth-OV、Grounding-DINO-SAM2-DINO などのいくつかのメソッドを取得するためにインスタンス化します。5 つのベンチマーク データセットに対する広範な評価により、OVCD メソッドの優れた一般化と堅牢性が実証されています。
既存の教師ありメソッドと教師なしメソッド。
継続的な探査をサポートするために、OVCD の研究と応用を進めるために設計された専用のコードベースである DynamicEarth をリリースします。
https://likyoo.github.io/DynamicEarth

要約(オリジナル)

Monitoring Earth’s evolving land covers requires methods capable of detecting changes across a wide range of categories and contexts. Existing change detection methods are hindered by their dependency on predefined classes, reducing their effectiveness in open-world applications. To address this issue, we introduce open-vocabulary change detection (OVCD), a novel task that bridges vision and language to detect changes across any category. Considering the lack of high-quality data and annotation, we propose two training-free frameworks, M-C-I and I-M-C, which leverage and integrate off-the-shelf foundation models for the OVCD task. The insight behind the M-C-I framework is to discover all potential changes and then classify these changes, while the insight of I-M-C framework is to identify all targets of interest and then determine whether their states have changed. Based on these two frameworks, we instantiate to obtain several methods, e.g., SAM-DINOv2-SegEarth-OV, Grounding-DINO-SAM2-DINO, etc. Extensive evaluations on 5 benchmark datasets demonstrate the superior generalization and robustness of our OVCD methods over existing supervised and unsupervised methods. To support continued exploration, we release DynamicEarth, a dedicated codebase designed to advance research and application of OVCD. https://likyoo.github.io/DynamicEarth

arxiv情報

提供元, 利用サービス

arxiv.jp, Google