A Survey on Class-Agnostic Counting: Advancements from Reference-Based to Open-World Text-Guided Approaches

要約

視覚的なオブジェクトカウントは最近、任意のカテゴリ全体でオブジェクトをカウントするという課題に対処するクラスに依存しないカウント（CAC）にシフトしました。これは、柔軟で一般化可能なカウントシステムの重要な機能です。
事前知識のない多様なカテゴリからオブジェクトを簡単に特定してカウントする人間とは異なり、ほとんどの既存のカウント方法は、既知のクラスのインスタンスの列挙されたインスタンスに制限されており、オープンボキャブリ設定でのトレーニングと苦労のために広範なラベル付けされたデータセットが必要です。
対照的に、CACは、トレーニング中に見られなかったクラスに属するオブジェクトを数え、いくつかのショット設定で動作することを目指しています。
この論文では、CAC方法論の最初の包括的なレビューを紹介します。
ターゲットオブジェクトクラスの指定方法に基づいて、CACアプローチを3つのパラダイムに分類するための分類を提案します：参照ベース、参照なし、およびオープンワールドテキストガイド。
参照ベースのアプローチは、模範的な誘導メカニズムに依存することにより、最先端のパフォーマンスを実現します。
参照のない方法は、固有の画像パターンを活用することにより、模範的な依存関係を排除します。
最後に、Open-World Text-Guided MethodはVision-Language Modelsを使用して、テキストプロンプトを介してオブジェクトクラスの説明を有効にし、柔軟で有望なソリューションを提供します。
この分類法に基づいて、29のCACアプローチのアーキテクチャの概要を提供し、ゴールドスタンダードのベンチマークで結果を報告します。
私たちは彼らのパフォーマンスを比較し、彼らの強みと限界について議論します。
具体的には、FSC-147データセットで結果を提示し、ゴールドスタンダードメトリックを使用してリーダーボードを設定し、CARPKデータセットに一般化機能を評価します。
最後に、将来の方向とともに、注釈の依存や一般化などの永続的な課題についての重要な議論を提供します。
この調査は、CACの進歩を紹介し、将来の研究を導く貴重なリソースになると考えています。

要約(オリジナル)

Visual object counting has recently shifted towards class-agnostic counting (CAC), which addresses the challenge of counting objects across arbitrary categories — a crucial capability for flexible and generalizable counting systems. Unlike humans, who effortlessly identify and count objects from diverse categories without prior knowledge, most existing counting methods are restricted to enumerating instances of known classes, requiring extensive labeled datasets for training and struggling in open-vocabulary settings. In contrast, CAC aims to count objects belonging to classes never seen during training, operating in a few-shot setting. In this paper, we present the first comprehensive review of CAC methodologies. We propose a taxonomy to categorize CAC approaches into three paradigms based on how target object classes can be specified: reference-based, reference-less, and open-world text-guided. Reference-based approaches achieve state-of-the-art performance by relying on exemplar-guided mechanisms. Reference-less methods eliminate exemplar dependency by leveraging inherent image patterns. Finally, open-world text-guided methods use vision-language models, enabling object class descriptions via textual prompts, offering a flexible and promising solution. Based on this taxonomy, we provide an overview of the architectures of 29 CAC approaches and report their results on gold-standard benchmarks. We compare their performance and discuss their strengths and limitations. Specifically, we present results on the FSC-147 dataset, setting a leaderboard using gold-standard metrics, and on the CARPK dataset to assess generalization capabilities. Finally, we offer a critical discussion of persistent challenges, such as annotation dependency and generalization, alongside future directions. We believe this survey will be a valuable resource, showcasing CAC advancements and guiding future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google