COCO-O: A Benchmark for Object Detectors under Natural Distribution Shifts

要約

実際の物体検出アプリケーションは、自然な分布シフトがある画像入力では有効性を失う可能性があります。
この問題により、研究コミュニティは、分布外 (OOD) 入力下での検出器の堅牢性にさらに注目するようになりました。
既存の研究では、自動運転などの特定のアプリケーション シナリオに対する検出器の OOD 堅牢性をベンチマークするデータセットが構築されています。
ただし、これらのデータセットには普遍性が欠けており、COCO などの一般的なタスクに基づいて構築された一般的な検出器のベンチマークを行うのは困難です。
より包括的なロバスト性評価を行うために、6 種類の自然分布シフトを備えた COCO に基づくテスト データセットである COCO-O(ut-of-distribution) を導入します。
COCO-O にはトレーニング データとの大きな分布ギャップがあり、Faster R-CNN 検出器で相対パフォーマンスが 55.7% 大幅に低下します。
当社は COCO-O を活用して 100 を超える最新の物体検出器で実験を実施し、その改善が信頼できるものか、それとも単に COCO テスト セットに過剰適合しているだけかを調査します。
残念ながら、初期のほとんどの古典的な検出器は、強力な OOD 一般化を示しません。
我々はさらに、検出器のアーキテクチャ設計、増強、および事前トレーニング技術の最近の進歩に対する堅牢性の影響を研究します。
いくつかの経験的発見が明らかになりました。 1) 検出の頭や首と比較して、バックボーンは堅牢性にとって最も重要な部分です。
2) エンドツーエンドの検出トランス設計は機能強化をもたらさず、堅牢性を低下させる可能性さえあります。
3) 大規模基礎モデルは、堅牢な物体検出において大きな進歩を遂げました。
私たちの COCO-O が物体検出の堅牢性研究のための豊富なテストベッドを提供できることを願っています。
データセットは \url{https://github.com/alibaba/easyrobust/tree/main/benchmarks/coco_o} で入手できます。

要約(オリジナル)

Practical object detection application can lose its effectiveness on image inputs with natural distribution shifts. This problem leads the research community to pay more attention on the robustness of detectors under Out-Of-Distribution (OOD) inputs. Existing works construct datasets to benchmark the detector’s OOD robustness for a specific application scenario, e.g., Autonomous Driving. However, these datasets lack universality and are hard to benchmark general detectors built on common tasks such as COCO. To give a more comprehensive robustness assessment, we introduce COCO-O(ut-of-distribution), a test dataset based on COCO with 6 types of natural distribution shifts. COCO-O has a large distribution gap with training data and results in a significant 55.7% relative performance drop on a Faster R-CNN detector. We leverage COCO-O to conduct experiments on more than 100 modern object detectors to investigate if their improvements are credible or just over-fitting to the COCO test set. Unfortunately, most classic detectors in early years do not exhibit strong OOD generalization. We further study the robustness effect on recent breakthroughs of detector’s architecture design, augmentation and pre-training techniques. Some empirical findings are revealed: 1) Compared with detection head or neck, backbone is the most important part for robustness; 2) An end-to-end detection transformer design brings no enhancement, and may even reduce robustness; 3) Large-scale foundation models have made a great leap on robust object detection. We hope our COCO-O could provide a rich testbed for robustness study of object detection. The dataset will be available at \url{https://github.com/alibaba/easyrobust/tree/main/benchmarks/coco_o}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google