Towards Building Self-Aware Object Detectors via Reliable Uncertainty Quantification and Calibration

要約

物体検出器の堅牢性をテストするための現在のアプローチには、分布外検出を実行する不適切な方法や、位置特定と分類品質の両方を考慮していないキャリブレーションメトリクスの使用など、重大な欠陥があります。
この研究では、これらの問題に対処し、自動運転などの安全性が重要な環境で物体検出器が直面する課題を尊重し、遵守する統合テスト フレームワークである自己認識物体検出 (SAOD) タスクを導入します。
具体的には、SAOD タスクでは、オブジェクト検出器が次のことを必要とします。 ドメイン シフトに対して堅牢であること。
シーン全体の信頼できる不確かさの推定値を取得します。
そして、検出に対する校正された信頼スコアを提供します。
私たちは、新しいメトリクスと大規模なテスト データセットを導入するフレームワークを広範囲に使用して、2 つの異なるユースケースで多数の物体検出器をテストし、その堅牢性パフォーマンスに関する重要な洞察を強調することができます。
最後に、SAOD タスクの単純なベースラインを紹介します。これにより、研究者は将来提案される手法のベンチマークを行い、目的に適した堅牢な物体検出器に向けて進むことができます。
コードは https://github.com/fiveai/saod で入手できます。

要約(オリジナル)

The current approach for testing the robustness of object detectors suffers from serious deficiencies such as improper methods of performing out-of-distribution detection and using calibration metrics which do not consider both localisation and classification quality. In this work, we address these issues, and introduce the Self-Aware Object Detection (SAOD) task, a unified testing framework which respects and adheres to the challenges that object detectors face in safety-critical environments such as autonomous driving. Specifically, the SAOD task requires an object detector to be: robust to domain shift; obtain reliable uncertainty estimates for the entire scene; and provide calibrated confidence scores for the detections. We extensively use our framework, which introduces novel metrics and large scale test datasets, to test numerous object detectors in two different use-cases, allowing us to highlight critical insights into their robustness performance. Finally, we introduce a simple baseline for the SAOD task, enabling researchers to benchmark future proposed methods and move towards robust object detectors which are fit for purpose. Code is available at https://github.com/fiveai/saod

arxiv情報

提供元, 利用サービス

arxiv.jp, Google