GCNet: Probing Self-Similarity Learning for Generalized Counting Network

要約

クラスにとらわれないカウント (CAC) 問題は、その幅広い社会的用途と困難な課題のために、最近ますます注目を集めています。
さまざまなカテゴリのオブジェクトをカウントするために、既存のアプローチはユーザー提供の手本に依存していますが、これは入手が難しく、一般性が制限されています。
このホワイトペーパーでは、フレームワークが画像全体の中で適応型の見本を認識できるようにすることを目指しています。
疑似シャム構造を使用して、固有の繰り返しパターンから疑似手本の手がかりを自動的かつ効果的に学習するゼロショット一般化カウント ネットワーク (GCNet) が開発されました。
さらに、現在のすべての CAC モデルで必要とされる面倒な密度マップの負担を軽減するために、弱い教師ありスキームが提示され、エンドツーエンドの方法でカウント レベルの監視信号を使用して GCNet をトレーニングできるようになります。
GCNet は、空間的な場所のヒントを提供しなくても、慎重に設計された自己相似学習戦略を通じてそれらを適応的にキャプチャすることができます。
ゼロショットCACの一般的なベンチマークFSC147に関する広範な実験とアブレーション研究は、GCNetの優位性を示しています。
これは、既存の見本依存の方法と同等の性能を発揮し、ShanghaiTech Part A、Part B、UCF_QNRF などの群集固有のデータセットで驚くべきクロスデータセットの一般性を示します。

要約(オリジナル)

The class-agnostic counting (CAC) problem has caught increasing attention recently due to its wide societal applications and arduous challenges. To count objects of different categories, existing approaches rely on user-provided exemplars, which is hard-to-obtain and limits their generality. In this paper, we aim to empower the framework to recognize adaptive exemplars within the whole images. A zero-shot Generalized Counting Network (GCNet) is developed, which uses a pseudo-Siamese structure to automatically and effectively learn pseudo exemplar clues from inherent repetition patterns. In addition, a weakly-supervised scheme is presented to reduce the burden of laborious density maps required by all contemporary CAC models, allowing GCNet to be trained using count-level supervisory signals in an end-to-end manner. Without providing any spatial location hints, GCNet is capable of adaptively capturing them through a carefully-designed self-similarity learning strategy. Extensive experiments and ablation studies on the prevailing benchmark FSC147 for zero-shot CAC demonstrate the superiority of our GCNet. It performs on par with existing exemplar-dependent methods and shows stunning cross-dataset generality on crowd-specific datasets, e.g., ShanghaiTech Part A, Part B and UCF_QNRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google