In Defense of Lazy Visual Grounding for Open-Vocabulary Semantic Segmentation

要約

我々は、オープンボキャブラリーのセマンティックセグメンテーションのために、教師なしオブジェクトマスクの発見とそれに続くオブジェクトグラウンディングの2段階のアプローチである遅延ビジュアルグラウンディングを提案します。
従来技術の多くは、事前訓練された視覚および言語モデルの画像からテキストへの分類機能を利用して、オブジェクトレベルの理解を必要とせずに、このタスクをピクセルからテキストへの分類として扱っていました。
セグメンテーションは本質的に視覚作業であるため、事前のテキスト情報がなくても視覚オブジェクトは区別可能であると私たちは主張します。
レイジー ビジュアル グラウンディングでは、まず反復的な正規化カットで画像を覆うオブジェクト マスクを検出し、その後、遅延対話方式で検出されたオブジェクトにテキストを割り当てます。
私たちのモデルは追加のトレーニングを必要とせず、Pascal VOC、Pascal Context、COCO-object、COCO-stuff、ADE 20K の 5 つの公開データセットで優れたパフォーマンスを示しています。
特に、視覚的に魅力的なセグメンテーションの結果は、オブジェクトの位置を正確に特定するモデルの機能を示しています。
論文ホームページ：https://cvlab.postech.ac.kr/research/lazygrounding

要約(オリジナル)

We present lazy visual grounding, a two-stage approach of unsupervised object mask discovery followed by object grounding, for open-vocabulary semantic segmentation. Plenty of the previous art casts this task as pixel-to-text classification without object-level comprehension, leveraging the image-to-text classification capability of pretrained vision-and-language models. We argue that visual objects are distinguishable without the prior text information as segmentation is essentially a vision task. Lazy visual grounding first discovers object masks covering an image with iterative Normalized cuts and then later assigns text on the discovered objects in a late interaction manner. Our model requires no additional training yet shows great performance on five public datasets: Pascal VOC, Pascal Context, COCO-object, COCO-stuff, and ADE 20K. Especially, the visually appealing segmentation results demonstrate the model capability to localize objects precisely. Paper homepage: https://cvlab.postech.ac.kr/research/lazygrounding

arxiv情報

提供元, 利用サービス

arxiv.jp, Google