Zero-shot Object Counting

要約

クラスにとらわれないオブジェクトカウンティングは、テスト時に任意のクラスのオブジェクトインスタンスをカウントすることを目的としています。この方法は難しいが、多くの潜在的な応用が可能である。現在の手法では、人間が注釈を付けた模範解答を入力として必要とするが、新しいカテゴリ、特に自律システムには利用できないことが多い。そこで我々は、テスト時にクラス名のみが利用可能な新しい設定であるゼロショットオブジェクトカウンティング(ZSC)を提案する。このようなカウントシステムは、ループ内に人間のアノテーターを必要とせず、自動で動作することができる。我々は、クラス名から出発して、次にカウントの模範となる最適なパッチを正確に特定できる方法を提案する。具体的には、まずクラスプロトタイプを構築し、対象となるオブジェクトを含む可能性の高いパッチ、すなわちクラス関連パッチを選択する。さらに、任意のパッチがカウント模範としてどの程度適しているかを定量的に測定できるモデルを導入する。このモデルを全ての候補パッチに適用することで、最も適したパッチをカウントの模範として選択することができる。クラスを問わない最近の計数データセットであるFSC-147を用いた実験結果により、本手法の有効性を検証する。コードは https://github.com/cvlab-stonybrook/zero-shot-counting で公開されています。

要約(オリジナル)

Class-agnostic object counting aims to count object instances of an arbitrary class at test time. It is challenging but also enables many potential applications. Current methods require human-annotated exemplars as inputs which are often unavailable for novel categories, especially for autonomous systems. Thus, we propose zero-shot object counting (ZSC), a new setting where only the class name is available during test time. Such a counting system does not require human annotators in the loop and can operate automatically. Starting from a class name, we propose a method that can accurately identify the optimal patches which can then be used as counting exemplars. Specifically, we first construct a class prototype to select the patches that are likely to contain the objects of interest, namely class-relevant patches. Furthermore, we introduce a model that can quantitatively measure how suitable an arbitrary patch is as a counting exemplar. By applying this model to all the candidate patches, we can select the most suitable patches as exemplars for counting. Experimental results on a recent class-agnostic counting dataset, FSC-147, validate the effectiveness of our method. Code is available at https://github.com/cvlab-stonybrook/zero-shot-counting

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL