Open-set object detection: towards unified problem formulation and benchmarking

要約

自動運転など、信頼性が鍵となる現実のアプリケーションでは、トレーニング中に使用されたクラスとは異なるクラスを正確に検出し、適切に処理することが重要です。
さまざまな未知の物体検出アプローチが提案されているにもかかわらず、使用されるデータセット、メトリクス、シナリオに関してそれらの間で広範囲にわたる不一致が観察されており、同時に未知のオブジェクトの明確な定義が欠如しており、有意義な評価が妨げられています。
これらの問題に対処するために、統合された VOC-COCO 評価と、新しい評価指標に加えて明確な階層オブジェクト定義を提供する新しい OpenImagesRoad ベンチマークの 2 つのベンチマークを導入します。
ベンチマークを補完するために、最近の自己監視型 Vision Transformers のパフォーマンスを利用して、OW-DETR++ を通じて擬似ラベルベースの OpenSet Object Detection (OSOD) を改善します。
最先端の手法は、提案されたベンチマークで広範囲に評価されています。
この研究は、明確な問題定義を提供し、一貫した評価を保証し、OSOD 戦略の有効性について新たな結論を導き出します。

要約(オリジナル)

In real-world applications where confidence is key, like autonomous driving, the accurate detection and appropriate handling of classes differing from those used during training are crucial. Despite the proposal of various unknown object detection approaches, we have observed widespread inconsistencies among them regarding the datasets, metrics, and scenarios used, alongside a notable absence of a clear definition for unknown objects, which hampers meaningful evaluation. To counter these issues, we introduce two benchmarks: a unified VOC-COCO evaluation, and the new OpenImagesRoad benchmark which provides clear hierarchical object definition besides new evaluation metrics. Complementing the benchmark, we exploit recent self-supervised Vision Transformers performance, to improve pseudo-labeling-based OpenSet Object Detection (OSOD), through OW-DETR++. State-of-the-art methods are extensively evaluated on the proposed benchmarks. This study provides a clear problem definition, ensures consistent evaluations, and draws new conclusions about effectiveness of OSOD strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google