Zero-shot Object Counting

要約

タイトル：ゼロショットオブジェクトカウント
要約：
– クラスを指定するだけで、新しいカテゴリーに対して人間によるアノテーションがなくても、オブジェクトの数を数えられるようにする Zero-shot object counting（ZSC）を提案する。
– クラス名に基づいて、最適なパッチを正確に識別することで、このシステムは自動的に動作し、ヒトのアノテーターを必要としない。
– クラスのプロトタイプを構築し、関連性の高いパッチを選択することで、興味のあるオブジェクトが含まれる可能性が高いパッチを選択することができる。
– モデルを導入することで、任意のパッチがカウントのサンプルとして適しているかどうかを定量的に測定することができます。このモデルをすべての候補パッチに適用することで、カウントのサンプルとして最も適したパッチを選択することができます。
– FSC-147などの最近のクラスアゴスティックカウンティングデータセットに対する実験結果は、我々の方法の有効性を検証しています。コードは、https://github.com/cvlab-stonybrook/zero-shot-countingにて公開されています。

要約(オリジナル)

Class-agnostic object counting aims to count object instances of an arbitrary class at test time. It is challenging but also enables many potential applications. Current methods require human-annotated exemplars as inputs which are often unavailable for novel categories, especially for autonomous systems. Thus, we propose zero-shot object counting (ZSC), a new setting where only the class name is available during test time. Such a counting system does not require human annotators in the loop and can operate automatically. Starting from a class name, we propose a method that can accurately identify the optimal patches which can then be used as counting exemplars. Specifically, we first construct a class prototype to select the patches that are likely to contain the objects of interest, namely class-relevant patches. Furthermore, we introduce a model that can quantitatively measure how suitable an arbitrary patch is as a counting exemplar. By applying this model to all the candidate patches, we can select the most suitable patches as exemplars for counting. Experimental results on a recent class-agnostic counting dataset, FSC-147, validate the effectiveness of our method. Code is available at https://github.com/cvlab-stonybrook/zero-shot-counting

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI