Incremental Object-Based Novelty Detection with Feedback Loop

要約

物体ベースの新規性検出（ND）は、物体検出モデルが学習中に見たクラスに属さない未知の物体を識別することを目的としている。このタスクは実世界のアプリケーションにおいて特に重要であり、例えば自動運転車や自律型ロボットで採用されている物体検出モデルのように、潜在的に有害な動作を回避することができるからである。NDに対する従来のアプローチは、事前に学習された物体検出出力の1回限りのオフライン後処理に焦点を当てており、学習後のモデルのロバスト性を改善する可能性を残さず、配備中に遭遇する大量の分布外データを破棄する。この研究では、予測された出力に対して人間のフィードバックを要求し、それを後で組み込むことで、主な物体検出性能に悪影響を与えることなくNDモデルを改良することを想定し、物体ベースのNDのための新しいフレームワークを提案する。この改良操作は、新しいフィードバックが得られるたびに繰り返される。物体検出のためのこの新しい問題定式化に取り組むために、我々は、事前に訓練された物体検出モデルの上に取り付けられ、フィードバックループを通して漸進的に更新される軽量NDモジュールを提案する。また、この新しい設定で手法を評価するための新しいベンチマークを提案し、ベースラインに対して我々のNDアプローチを広範囲にテストすることで、ロバスト性が向上し、受け取ったフィードバックをうまく取り込めることを示す。

要約(オリジナル)

Object-based Novelty Detection (ND) aims to identify unknown objects that do not belong to classes seen during training by an object detection model. The task is particularly crucial in real-world applications, as it allows to avoid potentially harmful behaviours, e.g. as in the case of object detection models adopted in a self-driving car or in an autonomous robot. Traditional approaches to ND focus on one time offline post processing of the pretrained object detection output, leaving no possibility to improve the model robustness after training and discarding the abundant amount of out-of-distribution data encountered during deployment. In this work, we propose a novel framework for object-based ND, assuming that human feedback can be requested on the predicted output and later incorporated to refine the ND model without negatively affecting the main object detection performance. This refinement operation is repeated whenever new feedback is available. To tackle this new formulation of the problem for object detection, we propose a lightweight ND module attached on top of a pre-trained object detection model, which is incrementally updated through a feedback loop. We also propose a new benchmark to evaluate methods on this new setting and test extensively our ND approach against baselines, showing increased robustness and a successful incorporation of the received feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL