Incremental Object-Based Novelty Detection with Feedback Loop

要約

オブジェクトベースのノベルティ検出 (ND) は、オブジェクト検出モデルによるトレーニング中に検出されたクラスに属さない未知のオブジェクトを識別することを目的としています。
このタスクは、潜在的に有害な動作を回避できるため、現実世界のアプリケーションでは特に重要です。
自動運転車や自律ロボットに採用されている物体検出モデルの場合と同様です。
ND への従来のアプローチは、事前トレーニングされた物体検出出力の 1 回限りのオフライン後処理に焦点を当てており、トレーニング後にモデルの堅牢性を向上させる可能性はなく、展開中に発生する大量の分布外データが破棄されます。
この研究では、主要なオブジェクトの検出パフォーマンスに悪影響を与えることなく、予測された出力に対して人間によるフィードバックを要求し、後で ND モデルを改良するために組み込むことができると仮定して、オブジェクトベースの ND の新しいフレームワークを提案します。
新しいフィードバックが利用可能になるたびに、この改良操作が繰り返されます。
物体検出の問題のこの新しい定式化に取り組むために、事前トレーニングされた物体検出モデルの上に取り付けられた軽量の ND モジュールを提案します。このモデルは、フィードバック ループを通じて段階的に更新されます。
また、この新しい設定で手法を評価し、ベースラインに対して ND アプローチを広範囲にテストするための新しいベンチマークを提案し、堅牢性の向上と受け取ったフィードバックの組み込みの成功を示します。

要約(オリジナル)

Object-based Novelty Detection (ND) aims to identify unknown objects that do not belong to classes seen during training by an object detection model. The task is particularly crucial in real-world applications, as it allows to avoid potentially harmful behaviours, e.g. as in the case of object detection models adopted in a self-driving car or in an autonomous robot. Traditional approaches to ND focus on one time offline post processing of the pretrained object detection output, leaving no possibility to improve the model robustness after training and discarding the abundant amount of out-of-distribution data encountered during deployment. In this work, we propose a novel framework for object-based ND, assuming that human feedback can be requested on the predicted output and later incorporated to refine the ND model without negatively affecting the main object detection performance. This refinement operation is repeated whenever new feedback is available. To tackle this new formulation of the problem for object detection, we propose a lightweight ND module attached on top of a pre-trained object detection model, which is incrementally updated through a feedback loop. We also propose a new benchmark to evaluate methods on this new setting and test extensively our ND approach against baselines, showing increased robustness and a successful incorporation of the received feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google