Text Augmented Spatial-aware Zero-shot Referring Image Segmentation

要約

この論文では、ゼロショット参照画像セグメンテーションという困難なタスクを研究します。
このタスクの目的は、ピクセルレベルの注釈をトレーニングせずに、参照式に最も関連するインスタンス マスクを特定することです。
これまでの研究では、CLIP などの事前トレーニング済みクロスモーダル モデルを利用して、インスタンス レベルのマスクを参照式と調整していました。
ただし、CLIP は画像とテキストのペアのレベルの位置合わせのみを考慮しており、きめの細かい画像領域や複雑な文のマッチングは無視されます。
しかし、CLIP は画像とテキストのペアのグローバルレベルの位置合わせのみを考慮し、参照している文とローカル画像領域の間の詳細なマッチングを無視しています。
この課題に対処するために、トレーニング不要でさまざまなビジュアル エンコーダに対して堅牢な Text Augmented Spatial-aware (TAS) ゼロショット参照画像セグメンテーション フレームワークを導入します。
TAS には、インスタンス レベルのマスク抽出のためのマスク提案ネットワーク、画像とテキストの相関関係をマイニングするためのテキスト拡張ビジュアル テキスト マッチング スコア、およびマスクの後処理のための空間整流器が組み込まれています。
特に、テキスト拡張ビジュアルテキスト マッチング スコアは、通常のビジュアルテキスト マッチング スコアに加えて、$P$ スコアと $N$ スコアを利用します。
$P$ スコアは、サロゲート キャプション モデルを通じてビジュアル テキスト ドメインのギャップを埋めるために利用されます。スコアは、サロゲート モデルで生成されたテキストと参照表現の間で計算されます。
$N$ スコアでは、ネガティブ フレーズ マイニングによる領域とテキストのペアのきめ細かい調整が考慮され、マスクされた画像がマイニングされた気を散らすフレーズから遠ざけることが促進されます。
RefCOCO、RefCOCO+、RefCOCOg などのさまざまなデータセットに対して広範な実験が行われています。
提案された方法は、最先端のゼロショット参照画像セグメンテーション方法よりも明らかに優れています。

要約(オリジナル)

In this paper, we study a challenging task of zero-shot referring image segmentation. This task aims to identify the instance mask that is most related to a referring expression without training on pixel-level annotations. Previous research takes advantage of pre-trained cross-modal models, e.g., CLIP, to align instance-level masks with referring expressions. %Yet, CLIP only considers image-text pair level alignment, which neglects fine-grained image region and complex sentence matching. Yet, CLIP only considers the global-level alignment of image-text pairs, neglecting fine-grained matching between the referring sentence and local image regions. To address this challenge, we introduce a Text Augmented Spatial-aware (TAS) zero-shot referring image segmentation framework that is training-free and robust to various visual encoders. TAS incorporates a mask proposal network for instance-level mask extraction, a text-augmented visual-text matching score for mining the image-text correlation, and a spatial rectifier for mask post-processing. Notably, the text-augmented visual-text matching score leverages a $P$ score and an $N$-score in addition to the typical visual-text matching score. The $P$-score is utilized to close the visual-text domain gap through a surrogate captioning model, where the score is computed between the surrogate model-generated texts and the referring expression. The $N$-score considers the fine-grained alignment of region-text pairs via negative phrase mining, encouraging the masked image to be repelled from the mined distracting phrases. Extensive experiments are conducted on various datasets, including RefCOCO, RefCOCO+, and RefCOCOg. The proposed method clearly outperforms state-of-the-art zero-shot referring image segmentation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google