SegCLIP: Patch Aggregation with Learnable Centers for Open-Vocabulary Semantic Segmentation

要約

最近、対照的な言語と画像の事前トレーニング (CLIP など) が、さまざまな下流タスクで有望な結果を示しています。
事前トレーニングされたモデルは、大規模なテキスト画像データから学習することで、画像の豊かな視覚概念をキャプチャできます。
ただし、学習した視覚的知識をオープンな語彙の意味セグメンテーションに移すことはまだ研究が進んでいません。
この論文では、アノテーションのない方法でのオープン語彙セグメンテーションのトピックに対して、SegCLIP という名前の CLIP ベースのモデルを提案します。
SegCLIP は ViT に基づいてセグメンテーションを実現します。主なアイデアは、テキストと画像のペアのトレーニングを通じて、学習可能な中心を持つパッチを意味領域に収集することです。
収集操作では、セマンティック グループを動的に取得でき、これを使用して最終的なセグメンテーション結果を生成できます。
さらに、視覚的表現を強化するために、マスクされたパッチでの再構成損失と、擬似ラベルを使用したスーパーピクセルベースの KL 損失を提案します。
実験結果は、私たちのモデルがベースラインと比較して、PASCAL VOC 2012 (+0.3% mIoU)、PASCAL Context (+2.3% mIoU)、および COCO (+2.2% mIoU) で同等またはそれ以上のセグメンテーション精度を達成していることを示しています。
コードは https://github.com/ArrowLuo/SegCLIP でリリースします。

要約(オリジナル)

Recently, the contrastive language-image pre-training, e.g., CLIP, has demonstrated promising results on various downstream tasks. The pre-trained model can capture enriched visual concepts for images by learning from a large scale of text-image data. However, transferring the learned visual knowledge to open-vocabulary semantic segmentation is still under-explored. In this paper, we propose a CLIP-based model named SegCLIP for the topic of open-vocabulary segmentation in an annotation-free manner. The SegCLIP achieves segmentation based on ViT and the main idea is to gather patches with learnable centers to semantic regions through training on text-image pairs. The gathering operation can dynamically capture the semantic groups, which can be used to generate the final segmentation results. We further propose a reconstruction loss on masked patches and a superpixel-based KL loss with pseudo-labels to enhance the visual representation. Experimental results show that our model achieves comparable or superior segmentation accuracy on the PASCAL VOC 2012 (+0.3% mIoU), PASCAL Context (+2.3% mIoU), and COCO (+2.2% mIoU) compared with baselines. We release the code at https://github.com/ArrowLuo/SegCLIP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google