MTA-CLIP: Language-Guided Semantic Segmentation with Mask-Text Alignment

要約

最近のアプローチでは、CLIP などの大規模ビジョン言語モデルがセマンティック セグメンテーションのパフォーマンスを向上できることが示されています。
これらの方法は通常、ピクセルレベルの視覚と言語の調整を目的としていますが、多くの場合、CLIP の低解像度画像の特徴に依存するため、境界に沿ってクラスのあいまいさが生じます。
さらに、CLIP テキスト埋め込み内のグローバル シーン表現は、ローカルで詳細なピクセル レベルの特徴と直接相関しないため、意味のある位置合わせがより困難になります。
これらの制限に対処するために、マスクレベルの視覚と言語の調整を採用した新しいフレームワークである MTA-CLIP を導入します。
具体的には、まず、CLIP言語モデルを使用したリッチテキストデータを使用してマスク表現を強化するMask-Text Decoderを提案します。
その後、マスクからテキストへの対照学習を使用して、マスク表現をテキスト埋め込みと位置合わせします。
さらに、テキスト埋め込みに複数のコンテキスト固有のプロンプトを利用して、マスク全体で多様なクラス表現をキャプチャする、MaskText プロンプト学習を導入します。
全体として、MTA-CLIP は最先端の技術を実現しており、標準ベンチマーク データセットである ADE20k と Cityscapes でそれぞれ平均 2.8% と 1.3% も従来の研究を上回っています。

要約(オリジナル)

Recent approaches have shown that large-scale vision-language models such as CLIP can improve semantic segmentation performance. These methods typically aim for pixel-level vision-language alignment, but often rely on low resolution image features from CLIP, resulting in class ambiguities along boundaries. Moreover, the global scene representations in CLIP text embeddings do not directly correlate with the local and detailed pixel-level features, making meaningful alignment more difficult. To address these limitations, we introduce MTA-CLIP, a novel framework employing mask-level vision-language alignment. Specifically, we first propose Mask-Text Decoder that enhances the mask representations using rich textual data with the CLIP language model. Subsequently, it aligns mask representations with text embeddings using Mask-to-Text Contrastive Learning. Furthermore, we introduce MaskText Prompt Learning, utilizing multiple context-specific prompts for text embeddings to capture diverse class representations across masks. Overall, MTA-CLIP achieves state-of-the-art, surpassing prior works by an average of 2.8% and 1.3% on on standard benchmark datasets, ADE20k and Cityscapes, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google