Query-based Hard-Image Retrieval for Object Detection at Test Time

要約

物体検出器のパフォーマンスが満足できない可能性がある画像を見つけて、物体検出器のエラー動作を捕捉することに長年の関心が寄せられています。
自動運転などの現実世界のアプリケーションでは、検出パフォーマンスの単純な要件を超えて、潜在的な障害を特徴付けることも重要です。
たとえば、自車両の近くにある歩行者の検出を見逃した場合、通常、遠くにある自動車の検出を見逃した場合よりも綿密な検査が必要になります。
テスト時にこのような潜在的な障害を予測する問題は、文献ではほとんど見落とされており、検出の不確実性に基づく従来のアプローチは、エラーのこのようなきめの細かい特徴付けにとらわれないという点で不十分です。
この研究では、「硬い」画像を見つける問題をクエリベースの硬い画像検索タスクとして再定式化することを提案します。クエリは「硬さ」の特定の定義であり、このタスクを解決できるシンプルで直感的な方法を提供します。
クエリの大規模なファミリー。
私たちの方法は完全にポストホックであり、グラウンドトゥルースの注釈を必要とせず、検出器の選択とは独立しており、グラウンドトゥルースの代わりに単純な確率モデルを使用する効率的なモンテカルロ推定に依存しています。
我々は、ラベル付けされたデータがなくても、特定の検出器のハード画像を確実に識別できるさまざまなクエリにこの手法を適用できることを実験的に示しています。
広く使用されている RetinaNet、Faster-RCNN、Mask-RCNN、および Cascade Mask-RCNN オブジェクト検出器を使用したランキングおよび分類タスクの結果を提供します。
このプロジェクトのコードは https://github.com/fiveai/hardest で入手できます。

要約(オリジナル)

There is a longstanding interest in capturing the error behaviour of object detectors by finding images where their performance is likely to be unsatisfactory. In real-world applications such as autonomous driving, it is also crucial to characterise potential failures beyond simple requirements of detection performance. For example, a missed detection of a pedestrian close to an ego vehicle will generally require closer inspection than a missed detection of a car in the distance. The problem of predicting such potential failures at test time has largely been overlooked in the literature and conventional approaches based on detection uncertainty fall short in that they are agnostic to such fine-grained characterisation of errors. In this work, we propose to reformulate the problem of finding ‘hard’ images as a query-based hard image retrieval task, where queries are specific definitions of ‘hardness’, and offer a simple and intuitive method that can solve this task for a large family of queries. Our method is entirely post-hoc, does not require ground-truth annotations, is independent of the choice of a detector, and relies on an efficient Monte Carlo estimation that uses a simple stochastic model in place of the ground-truth. We show experimentally that it can be applied successfully to a wide variety of queries for which it can reliably identify hard images for a given detector without any labelled data. We provide results on ranking and classification tasks using the widely used RetinaNet, Faster-RCNN, Mask-RCNN, and Cascade Mask-RCNN object detectors. The code for this project is available at https://github.com/fiveai/hardest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google