CountGD: Multi-Modal Open-World Counting

要約

本論文の目的は、画像中のオープンボキャブラリーオブジェクト計数の一般性と精度を向上させることである。一般性を向上させるために、オープンボキャブラリ検出の基礎モデル（GroundingDINO）を計数タスク用に再利用し、さらに、視覚的模範によって計数対象オブジェクトを指定できるモジュールを導入することで、その機能を拡張する。そして、これらの新しい機能、すなわち、マルチモーダル（テキストと模範解答）により対象物を指定できることは、計数精度の向上につながる。 我々は3つの貢献をする：第一に、プロンプトをテキスト記述か視覚的な模範解答、あるいはその両方で指定できる、初のオープンワールド計数モデルCountGDを導入する。第二に、このモデルの性能が、複数の計数ベンチマークにおいて、技術水準を大幅に向上させることを示す；第三に、テキストと視覚的模範プロンプトの間のさまざまな相互作用について予備的な研究を実施する。コードとモデルをテストするアプリはhttps://www.robots.ox.ac.uk/~vgg/research/countgd/にある。

要約(オリジナル)

The goal of this paper is to improve the generality and accuracy of open-vocabulary object counting in images. To improve the generality, we repurpose an open-vocabulary detection foundation model (GroundingDINO) for the counting task, and also extend its capabilities by introducing modules to enable specifying the target object to count by visual exemplars. In turn, these new capabilities – being able to specify the target object by multi-modalites (text and exemplars) – lead to an improvement in counting accuracy. We make three contributions: First, we introduce the first open-world counting model, CountGD, where the prompt can be specified by a text description or visual exemplars or both; Second, we show that the performance of the model significantly improves the state of the art on multiple counting benchmarks – when using text only, CountGD is comparable to or outperforms all previous text-only works, and when using both text and visual exemplars, we outperform all previous models; Third, we carry out a preliminary study into different interactions between the text and visual exemplar prompts, including the cases where they reinforce each other and where one restricts the other. The code and an app to test the model are available at https://www.robots.ox.ac.uk/~vgg/research/countgd/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL