TagCLIP: Improving Discrimination Ability of Open-Vocabulary Semantic Segmentation

要約

コントラスト言語画像事前学習(CLIP)は、最近ピクセルレベルのゼロショット学習タスクにおいて大きな可能性を示している。しかし、CLIPのテキストとパッチの埋め込みを利用して意味マスクを生成する既存のアプローチは、未知のクラスからの入力ピクセルを誤識別することが多く、新しいクラスと意味的に類似したクラスとの混同を引き起こす。本研究では、この問題に対処するために、新しいアプローチであるTagCLIP (Trusty-aware guided CLIP)を提案する。すなわち、個別に行われる意味的マッチングと、識別能力を向上させるための信頼性判定である。文レベルの埋め込みを表現する言語モデリングにおける特別なトークンのアイデアに基づき、予測において新規クラスと既知クラスを区別することを可能にする信頼性トークンを導入する。本アプローチを評価するために、PASCAL VOC 2012, COCO-Stuff 164KとPASCAL Contextの2つのベンチマークデータセットで実験を行った。その結果、TagCLIPは未知のクラスのIntersection over Union (IoU)をそれぞれ7.4%、1.7%、2.1%改善し、オーバーヘッドも無視できることがわかった。コードはhttps://github.com/dvlab-research/TagCLIP。

要約(オリジナル)

Contrastive Language-Image Pre-training (CLIP) has recently shown great promise in pixel-level zero-shot learning tasks. However, existing approaches utilizing CLIP’s text and patch embeddings to generate semantic masks often misidentify input pixels from unseen classes, leading to confusion between novel classes and semantically similar ones. In this work, we propose a novel approach, TagCLIP (Trusty-aware guided CLIP), to address this issue. We disentangle the ill-posed optimization problem into two parallel processes: semantic matching performed individually and reliability judgment for improving discrimination ability. Building on the idea of special tokens in language modeling representing sentence-level embeddings, we introduce a trusty token that enables distinguishing novel classes from known ones in prediction. To evaluate our approach, we conduct experiments on two benchmark datasets, PASCAL VOC 2012, COCO-Stuff 164K and PASCAL Context. Our results show that TagCLIP improves the Intersection over Union (IoU) of unseen classes by 7.4%, 1.7% and 2.1%, respectively, with negligible overheads. The code is available at https://github.com/dvlab-research/TagCLIP.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL