Going Denser with Open-Vocabulary Part Segmentation

要約

物体検出は、限られた数のカテゴリからオープンな語彙に拡張されました。
今後、完全なインテリジェント ビジョン システムでは、よりきめ細かいオブジェクトの説明やオブジェクトの部分を理解する必要があります。
この論文では、オープンボキャブラリーオブジェクトとその部分セグメンテーションの両方を予測する機能を備えた検出器を提案します。
この能力は 2 つの設計から来ています。
まず、パーツレベル、オブジェクトレベル、画像レベルのデータを結合して検出器をトレーニングし、言語と画像の間の多粒度の調整を構築します。
第二に、基本オブジェクトとの密な意味論的対応によって、新しいオブジェクトをその部分に解析します。
これら 2 つの設計により、検出器はさまざまなデータ ソースと基礎モデルから大きなメリットを得ることができます。
オープン語彙部品セグメンテーション実験では、私たちの方法は PartImageNet でのデータセット間一般化でベースラインを 3.3$\sim$7.3 mAP 上回り、Pascal Part でのカテゴリ間一般化でベースラインを 7.3 new AP$_{50}$ 改善しました。
。
最後に、データセット固有のトレーニングよりも優れたパフォーマンスを達成しながら、広範囲のパーツ セグメンテーション データセットに一般化する検出器をトレーニングします。

要約(オリジナル)

Object detection has been expanded from a limited number of categories to open vocabulary. Moving forward, a complete intelligent vision system requires understanding more fine-grained object descriptions, object parts. In this paper, we propose a detector with the ability to predict both open-vocabulary objects and their part segmentation. This ability comes from two designs. First, we train the detector on the joint of part-level, object-level and image-level data to build the multi-granularity alignment between language and image. Second, we parse the novel object into its parts by its dense semantic correspondence with the base object. These two designs enable the detector to largely benefit from various data sources and foundation models. In open-vocabulary part segmentation experiments, our method outperforms the baseline by 3.3$\sim$7.3 mAP in cross-dataset generalization on PartImageNet, and improves the baseline by 7.3 novel AP$_{50}$ in cross-category generalization on Pascal Part. Finally, we train a detector that generalizes to a wide range of part segmentation datasets while achieving better performance than dataset-specific training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google