Bridging the Gap between Object and Image-level Representations for Open-Vocabulary Detection

要約

既存のオープン語彙オブジェクト検出器は通常、さまざまな形式の弱い監督を利用して語彙のサイズを拡大します。
これは、推論時に新しいオブジェクトに一般化するのに役立ちます。
オープン語彙検出 (OVD) で使用される一般的な弱い教師の 2 つの形式には、事前学習済みの CLIP モデルと画像レベルの教師があります。
これらの両方の監視モードは、検出タスクに最適に調整されていないことに注意してください。CLIPは画像とテキストのペアでトレーニングされ、オブジェクトの正確な位置特定が欠けていますが、画像レベルの監視は、ローカルオブジェクト領域を正確に指定しないヒューリスティックで使用されています
.
この作業では、CLIP モデルからの言語埋め込みのオブジェクト中心の配置を実行することにより、この問題に対処することを提案します。
さらに、高品質のオブジェクトの提案を提供し、トレーニング中に語彙を拡張するのに役立つ疑似ラベル付けプロセスを使用して、画像レベルの監督のみでオブジェクトを視覚的に接地します。
上記の 2 つのオブジェクト アラインメント戦略の間に、それらの補完的な強みを集約する新しい重み伝達関数を介して橋渡しを確立します。
本質的に、提案されたモデルは、OVD 設定におけるオブジェクト中心の表現と画像中心の表現の間のギャップを最小限に抑えることを目指しています。
COCO ベンチマークでは、提案されたアプローチは新しいクラスで 36.6 AP50 を達成し、以前の最高のパフォーマンスを 8.2 も上回りました。
LVIS については、最先端の ViLD モデルをレア カテゴリで 5.0 マスク AP、全体で 3.4 上回っています。
コード: https://github.com/hanoonaR/object-centric-ovd.

要約(オリジナル)

Existing open-vocabulary object detectors typically enlarge their vocabulary sizes by leveraging different forms of weak supervision. This helps generalize to novel objects at inference. Two popular forms of weak-supervision used in open-vocabulary detection (OVD) include pretrained CLIP model and image-level supervision. We note that both these modes of supervision are not optimally aligned for the detection task: CLIP is trained with image-text pairs and lacks precise localization of objects while the image-level supervision has been used with heuristics that do not accurately specify local object regions. In this work, we propose to address this problem by performing object-centric alignment of the language embeddings from the CLIP model. Furthermore, we visually ground the objects with only image-level supervision using a pseudo-labeling process that provides high-quality object proposals and helps expand the vocabulary during training. We establish a bridge between the above two object-alignment strategies via a novel weight transfer function that aggregates their complimentary strengths. In essence, the proposed model seeks to minimize the gap between object and image-centric representations in the OVD setting. On the COCO benchmark, our proposed approach achieves 36.6 AP50 on novel classes, an absolute 8.2 gain over the previous best performance. For LVIS, we surpass the state-of-the-art ViLD model by 5.0 mask AP for rare categories and 3.4 overall. Code: https://github.com/hanoonaR/object-centric-ovd.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google