MVP-SEG: Multi-View Prompt Learning for Open-Vocabulary Semantic Segmentation

要約

タイトル：MVP-SEG：オープンボキャブラリー意味セグメンテーションのためのマルチビュープロンプト学習

要約：

– CLIP (Contrastive Language-Image Pretraining)は、オープンボキャブラリーゼロショット画像レベルの認識には十分に開発されていますが、ピクセルレベルタスクにおけるその応用はあまり調査されておらず、ほとんどの努力はCLIP特徴を継続的に採用しています。
– この研究では、まず画像ピクセルCLIP特徴の適応性の必要性を実証し、Multi-View Prompt学習（MVP-SEG）を提供して、画像ピクセルの適応性を実現し、オープンボキャブラリー意味セグメンテーションを解決する効果的なソリューションを提供します。
– 具体的には、MVP-SEGは、私たちの直交制約損失（OCLoss）で訓練された複数のプロンプトを意図的に学習し、各プロンプトが異なる物体部位でCLIP特徴を利用するように監督することにより、コラボレーション・セグメンテーション・マスクが生成され、より良いセグメンテーションが促進されます。
– さらに、MVP-SEGは、クラス別セグメンテーションノイズをさらに排除するためにグローバルプロンプトリファイン（GPR）を導入します。
– 実験の結果、観測されたカテゴリから学習されたマルチビュープロンプトは、未知のカテゴリに強い汎化性を持ち、知識移転ステージを組み合わせたMVP-SEG+は、いくつかの基準において以前の方法よりも優れたパフォーマンスを発揮します。
– さらに、定性的結果は、MVP-SEGがより異なる局所部位に焦点を当てた結果を引き起こすことを正当化しています。

要約(オリジナル)

CLIP (Contrastive Language-Image Pretraining) is well-developed for open-vocabulary zero-shot image-level recognition, while its applications in pixel-level tasks are less investigated, where most efforts directly adopt CLIP features without deliberative adaptations. In this work, we first demonstrate the necessity of image-pixel CLIP feature adaption, then provide Multi-View Prompt learning (MVP-SEG) as an effective solution to achieve image-pixel adaptation and to solve open-vocabulary semantic segmentation. Concretely, MVP-SEG deliberately learns multiple prompts trained by our Orthogonal Constraint Loss (OCLoss), by which each prompt is supervised to exploit CLIP feature on different object parts, and collaborative segmentation masks generated by all prompts promote better segmentation. Moreover, MVP-SEG introduces Global Prompt Refining (GPR) to further eliminate class-wise segmentation noise. Experiments show that the multi-view prompts learned from seen categories have strong generalization to unseen categories, and MVP-SEG+ which combines the knowledge transfer stage significantly outperforms previous methods on several benchmarks. Moreover, qualitative results justify that MVP-SEG does lead to better focus on different local parts.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI