Language-Driven Visual Consensus for Zero-Shot Semantic Segmentation

要約

CLIP に代表される事前トレーニング済みの視覚言語モデルは、トランスフォーマー デコーダを通じて視覚的特徴をクラス埋め込みと調整してセマンティック マスクを生成することにより、ゼロショット セマンティック セグメンテーションを推進します。
その有効性にもかかわらず、このパラダイム内で普及している方法は、既知のクラスのオーバーフィッティングやマスクの小さな断片化などの課題に直面しています。
これらの問題を軽減するために、私たちは言語駆動型ビジュアル コンセンサス (LDVC) アプローチを提案し、意味情報と視覚情報の調整の改善を促進します。具体的には、クラス エンベディングの離散的かつ抽象的な性質により、クラス エンベディングをアンカーとして活用し、ビジョン機能をクラス エンベディングに向けて操作します。
さらに、冗長な性質による視覚部分からのノイズの多い位置合わせを回避するために、視覚的な合意を見つけるためにルート注意を自己注意に導入し、それによって同じオブジェクト内の意味の一貫性を高めます。
ビジョン言語プロンプト戦略を備えた私たちのアプローチは、目に見えないクラスのセグメンテーション モデルの一般化能力を大幅に高めます。
実験結果は私たちのアプローチの有効性を強調しており、最先端の方法と比較して、未確認のクラスについて PASCAL VOC 2012 で 4.5、COCO-Stuff 164k で 3.6 の mIoU ゲインが得られることを示しています。

要約(オリジナル)

The pre-trained vision-language model, exemplified by CLIP, advances zero-shot semantic segmentation by aligning visual features with class embeddings through a transformer decoder to generate semantic masks. Despite its effectiveness, prevailing methods within this paradigm encounter challenges, including overfitting on seen classes and small fragmentation in masks. To mitigate these issues, we propose a Language-Driven Visual Consensus (LDVC) approach, fostering improved alignment of semantic and visual information.Specifically, we leverage class embeddings as anchors due to their discrete and abstract nature, steering vision features toward class embeddings. Moreover, to circumvent noisy alignments from the vision part due to its redundant nature, we introduce route attention into self-attention for finding visual consensus, thereby enhancing semantic consistency within the same object. Equipped with a vision-language prompting strategy, our approach significantly boosts the generalization capacity of segmentation models for unseen classes. Experimental results underscore the effectiveness of our approach, showcasing mIoU gains of 4.5 on the PASCAL VOC 2012 and 3.6 on the COCO-Stuff 164k for unseen classes compared with the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google