PANDAS: Prototype-based Novel Class Discovery and Detection

要約

オブジェクト検出器は通常、固定されたクラスのセットで一度だけトレーニングされます。
ただし、検出器が実際に配備された後は新しいクラスが必然的に出現するため、この閉じた世界の仮定は実際には非現実的です。
この研究では、基本クラスのセットに対してトレーニングされた検出器を拡張する方法を検討します。これにより、i) 新しいクラスの存在を検出し、ii) 新たに検出されたクラスを検出できるようにそのレパートリーを自動的に強化します。
ベースのもの。
我々は、新規クラスの発見と検出のための手法である PANDAS を提案します。
ラベルのないデータから新しいクラスを表すクラスターを検出し、古いクラスと新しいクラスをプロトタイプで表します。
推論中、距離ベースの分類器はこれらのプロトタイプを使用して、検出された各オブジェクト インスタンスにラベルを割り当てます。
私たちの方法は単純であるため、広く適用できます。
VOC 2012 および COCO-to-LVIS ベンチマークにおける PANDAS の有効性を実験的に実証します。
このタスクの最先端技術に比べて有利なパフォーマンスを示しながら、計算的にはより手頃な価格です。

要約(オリジナル)

Object detectors are typically trained once and for all on a fixed set of classes. However, this closed-world assumption is unrealistic in practice, as new classes will inevitably emerge after the detector is deployed in the wild. In this work, we look at ways to extend a detector trained for a set of base classes so it can i) spot the presence of novel classes, and ii) automatically enrich its repertoire to be able to detect those newly discovered classes together with the base ones. We propose PANDAS, a method for novel class discovery and detection. It discovers clusters representing novel classes from unlabeled data, and represents old and new classes with prototypes. During inference, a distance-based classifier uses these prototypes to assign a label to each detected object instance. The simplicity of our method makes it widely applicable. We experimentally demonstrate the effectiveness of PANDAS on the VOC 2012 and COCO-to-LVIS benchmarks. It performs favorably against the state of the art for this task while being computationally more affordable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google