DAVE — A Detect-and-Verify Paradigm for Low-Shot Counting

要約

ロー ショット カウンターは、画像内に注釈が付けられたサンプルがほとんどないか、まったくないことに基づいて、選択したカテゴリに対応するオブジェクトの数を推定します。
現在の最先端技術では、物体位置密度マップの合計として総数を推定しますが、多くのアプリケーションにとって重要な個々の物体の位置とサイズは提供しません。
これは検出ベースのカウンターによって対処されますが、合計カウント精度では劣ります。
さらに、どちらのアプローチも、他のオブジェクト クラスが存在する場合、誤検知が多いため、カウントが過大評価される傾向があります。
我々は、検出と検証のパラダイムに基づいたローショットカウンターである DAVE を提案します。これは、まず高再現率の検出セットを生成し、次に検出を検証して外れ値を特定して削除することで、前述の問題を回避します。
これにより再現率と精度が向上し、正確なカウントが可能になります。
DAVE は、総計数 MAE で最高の密度ベースのカウンターを最大 20% 上回っており、検出品質では最新の検出ベースのカウンターを約 20% 上回っており、ゼロショットで新しい最先端を確立しています。
テキストプロンプトベースのカウントも可能です。

要約(オリジナル)

Low-shot counters estimate the number of objects corresponding to a selected category, based on only few or no exemplars annotated in the image. The current state-of-the-art estimates the total counts as the sum over the object location density map, but does not provide individual object locations and sizes, which are crucial for many applications. This is addressed by detection-based counters, which, however fall behind in the total count accuracy. Furthermore, both approaches tend to overestimate the counts in the presence of other object classes due to many false positives. We propose DAVE, a low-shot counter based on a detect-and-verify paradigm, that avoids the aforementioned issues by first generating a high-recall detection set and then verifying the detections to identify and remove the outliers. This jointly increases the recall and precision, leading to accurate counts. DAVE outperforms the top density-based counters by ~20% in the total count MAE, it outperforms the most recent detection-based counter by ~20% in detection quality and sets a new state-of-the-art in zero-shot as well as text-prompt-based counting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google