Few-shot Object Counting and Detection

要約

数ショットのオブジェクトのカウントと検出という新しいタスクに取り組みます。
ターゲットオブジェクトクラスのいくつかの模範的なバウンディングボックスが与えられた場合、ターゲットクラスのすべてのオブジェクトをカウントして検出しようとします。
このタスクは、数ショットのオブジェクトカウントと同じ監視を共有しますが、オブジェクト境界ボックスを合計オブジェクトカウントとともに出力します。
この困難な問題に対処するために、新しい2段階のトレーニング戦略と新しい不確実性を意識した数ショットのオブジェクト検出器であるCounting-DETRを紹介します。
前者は、後者をトレーニングするための疑似グラウンドトゥルースバウンディングボックスを生成することを目的としています。
後者は、前者が提供する疑似グラウンドトゥルースを活用しますが、疑似グラウンドトゥルースの不完全性を説明するために必要な手順を実行します。
新しいタスクでのメソッドのパフォーマンスを検証するために、FSCD-147およびFSCD-LVISという名前の2つの新しいデータセットを導入します。
どちらのデータセットにも、複雑なシーン、画像ごとに複数のオブジェクトクラス、オブジェクトの形状、サイズ、外観が大きく異なる画像が含まれています。
私たちが提案するアプローチは、カウントと検出の両方のメトリックで大きなマージンを持って、数ショットのオブジェクトカウントと数ショットのオブジェクト検出から適応された非常に強力なベースラインを上回ります。
コードとモデルはhttps://github.com/VinAIResearch/Counting-DETRで入手できます。

要約(オリジナル)

We tackle a new task of few-shot object counting and detection. Given a few exemplar bounding boxes of a target object class, we seek to count and detect all objects of the target class. This task shares the same supervision as the few-shot object counting but additionally outputs the object bounding boxes along with the total object count. To address this challenging problem, we introduce a novel two-stage training strategy and a novel uncertainty-aware few-shot object detector: Counting-DETR. The former is aimed at generating pseudo ground-truth bounding boxes to train the latter. The latter leverages the pseudo ground-truth provided by the former but takes the necessary steps to account for the imperfection of pseudo ground-truth. To validate the performance of our method on the new task, we introduce two new datasets named FSCD-147 and FSCD-LVIS. Both datasets contain images with complex scenes, multiple object classes per image, and a huge variation in object shapes, sizes, and appearance. Our proposed approach outperforms very strong baselines adapted from few-shot object counting and few-shot object detection with a large margin in both counting and detection metrics. The code and models are available at https://github.com/VinAIResearch/Counting-DETR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google