Bridging the Gap between Object and Image-level Representations for Open-Vocabulary Detection

要約

既存のオープンボキャブラリーオブジェクト検出器は、通常、さまざまな形式の弱い監視を利用してボキャブラリーサイズを拡大します。
これは、推論時に新しいオブジェクトに一般化するのに役立ちます。
オープンボキャブラリー検出（OVD）で使用される弱い監視の2つの一般的な形式には、事前トレーニングされたCLIPモデルと画像レベルの監視が含まれます。
これらの監視モードはどちらも検出タスクに最適に調整されていないことに注意してください。CLIPは画像とテキストのペアでトレーニングされており、オブジェクトの正確なローカリゼーションが不足していますが、画像レベルの監視は、ローカルオブジェクト領域を正確に指定しないヒューリスティックで使用されています。
。
この作業では、CLIPモデルからの言語埋め込みのオブジェクト中心の配置を実行することにより、この問題に対処することを提案します。
さらに、高品質のオブジェクト提案を提供し、トレーニング中に語彙を拡張するのに役立つ疑似ラベル付けプロセスを使用して、画像レベルの監視のみでオブジェクトを視覚的に接地します。
補完的な強みを集約する新しい重量伝達関数を介して、上記の2つのオブジェクト整列戦略の間に架け橋を確立します。
本質的に、提案されたモデルは、OVD設定でのオブジェクトと画像中心の表現の間のギャップを最小限に抑えることを目指しています。
COCOベンチマークでは、提案されたアプローチにより、新規クラスで40.3 AP50が達成され、以前の最高のパフォーマンスよりも絶対的に11.9向上します。
。
コード：https：//bit.ly/3byZoQp。

要約(オリジナル)

Existing open-vocabulary object detectors typically enlarge their vocabulary sizes by leveraging different forms of weak supervision. This helps generalize to novel objects at inference. Two popular forms of weak-supervision used in open-vocabulary detection (OVD) include pretrained CLIP model and image-level supervision. We note that both these modes of supervision are not optimally aligned for the detection task: CLIP is trained with image-text pairs and lacks precise localization of objects while the image-level supervision has been used with heuristics that do not accurately specify local object regions. In this work, we propose to address this problem by performing object-centric alignment of the language embeddings from the CLIP model. Furthermore, we visually ground the objects with only image-level supervision using a pseudo-labeling process that provides high-quality object proposals and helps expand the vocabulary during training. We establish a bridge between the above two object-alignment strategies via a novel weight transfer function that aggregates their complimentary strengths. In essence, the proposed model seeks to minimize the gap between object and image-centric representations in the OVD setting. On the COCO benchmark, our proposed approach achieves 40.3 AP50 on novel classes, an absolute 11.9 gain over the previous best performance.For LVIS, we surpass the state-of-the-art ViLD model by 5.0 mask AP for rare categories and 3.4 overall. Code: https://bit.ly/3byZoQp.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google