Understanding Multi-Granularity for Open-Vocabulary Part Segmentation

要約

オープン語彙部分セグメンテーション (OVPS) は、これまで見たことのない多様な語彙を使用して、きめの細かいエンティティをセグメント化することに焦点を当てた新興研究分野です。
私たちの研究は、部品識別の知識ベースの性質を反映して、複雑な境界と多様な粒度による部品セグメンテーションの固有の複雑さを浮き彫りにしています。
これらの課題に対処するために、私たちは PartCLIPSeg を提案します。これは、一般化された部分とオブジェクト レベルのコンテキストを利用して、詳細な部分での一般化の欠如を軽減する新しいフレームワークです。
PartCLIPSeg は、競合する部品の関係と注意制御を統合し、曖昧な境界や過小評価されている部品を軽減します。
実験結果は、PartCLIPSeg が既存の最先端の OVPS 手法よりも優れたパフォーマンスを発揮し、洗練されたセグメンテーションと画像内のパーツ関係の高度な理解を提供することを示しています。
広範な実験を通じて、私たちのモデルは、Pascal-Part-116、ADE20K-Part-234、および PartImageNet データセット上の最先端のモデルと比較して大幅な改善を実証しました。

要約(オリジナル)

Open-vocabulary part segmentation (OVPS) is an emerging research area focused on segmenting fine-grained entities using diverse and previously unseen vocabularies. Our study highlights the inherent complexities of part segmentation due to intricate boundaries and diverse granularity, reflecting the knowledge-based nature of part identification. To address these challenges, we propose PartCLIPSeg, a novel framework utilizing generalized parts and object-level contexts to mitigate the lack of generalization in fine-grained parts. PartCLIPSeg integrates competitive part relationships and attention control, alleviating ambiguous boundaries and underrepresented parts. Experimental results demonstrate that PartCLIPSeg outperforms existing state-of-the-art OVPS methods, offering refined segmentation and an advanced understanding of part relationships within images. Through extensive experiments, our model demonstrated a significant improvement over the state-of-the-art models on the Pascal-Part-116, ADE20K-Part-234, and PartImageNet datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google