An Effective Crop-Paste Pipeline for Few-shot Object Detection

要約

Few-shot Object Detection (FSOD)は、わずかなサンプル数で新規カテゴリを検出するオブジェクト検出器を開発することを目的としている。しかし、わずかなサンプルで新規カテゴリを検出することは、通常、誤判定の問題につながる。FSODでは、新規カテゴリの誤検出が顕著であり、基本カテゴリが新規カテゴリとして認識されることが多いことが分かっている。この問題に対処するため、CNPBと呼ばれる、新規インスタンスを切り出し、選択されたベース画像に貼り付ける新しいデータ補強パイプラインが提案される。(1)どのようにベース画像を選択するか、(2)どのように新規データとベースデータを組み合わせるのか、といった2つの重要な問いに答える。我々は、有用なベースデータを見つけるために、多段階の選択戦略を設計する。具体的には、まず新規カテゴリのFPを含むベース画像を発見し、そこからベースと新規カテゴリのバランスをとるために一定量のサンプルを選択する。次に、ラベル付けされていないグランドトゥルースや混同しやすいベースインスタンスを持つベース画像などの悪いケースを、CLIPを用いて除去する。最後に、同じカテゴリ戦略を採用し、カテゴリnの新規インスタンスをFPがnのベース画像に貼り付ける。結合の際、新規インスタンスは切り取られ、ランダムに縮小されるため、選択されたベース画像内のランダムに生成された候補の中から、割り当てられた最適な位置に貼り付けられる。本手法はシンプルかつ効果的であり、既存のFSOD手法に容易に組み込むことができるため、大きな利用可能性を示している。PASCAL VOCとMS COCOを用いた広範な実験により、本方法の有効性が検証された。

要約(オリジナル)

Few-shot object detection (FSOD) aims to expand an object detector for novel categories given only a few instances for training. However, detecting novel categories with only a few samples usually leads to the problem of misclassification. In FSOD, we notice the false positive (FP) of novel categories is prominent, in which the base categories are often recognized as novel ones. To address this issue, a novel data augmentation pipeline that Crops the Novel instances and Pastes them on the selected Base images, called CNPB, is proposed. There are two key questions to be answered: (1) How to select useful base images? and (2) How to combine novel and base data? We design a multi-step selection strategy to find useful base data. Specifically, we first discover the base images which contain the FP of novel categories and select a certain amount of samples from them for the base and novel categories balance. Then the bad cases, such as the base images that have unlabeled ground truth or easily confused base instances, are removed by using CLIP. Finally, the same category strategy is adopted, in which a novel instance with category n is pasted on the base image with the FP of n. During combination, a novel instance is cropped and randomly down-sized, and thus pasted at the assigned optimal location from the randomly generated candidates in a selected base image. Our method is simple yet effective and can be easy to plug into existing FSOD methods, demonstrating significant potential for use. Extensive experiments on PASCAL VOC and MS COCO validate the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL