Zero-shot Referring Image Segmentation with Global-Local Context Features

要約

タイトル：Zero-shot Referring Image Segmentation with Global-Local Context Features（GLCFによるゼロショット言及画像セグメンテーション）

要約：

1. 論文の目的
– Referring image segmentation (RIS) ：言及されたリージョンに対してセグメンテーションマスクを見つけるタスク
– RISのためには、データセットの作成がコストと時間がかかる。
– そこで、クロスモーダル知識を利用したゼロショット言及画像セグメンテーション法を提案する。

2. 研究手法
– Mask-guided visual encoder：マスク提案技術によるインスタンスマスクを利用し、入力画像のグローバル・局所的文脈情報を抽出する。
– Global-local text encoder：依存構文解析により、対象名詞句を抽出するローカル特徴量、文全体の意味を表すグローバル特徴量を組み合わせる。

3. 評価実験
– 既存のゼロショット手法を上回った。
– 部分的な弱監督手法に比べ、精度が向上した。

4. 提供
– コードがGitHubで公開されている。

要約(オリジナル)

Referring image segmentation (RIS) aims to find a segmentation mask given a referring expression grounded to a region of the input image. Collecting labelled datasets for this task, however, is notoriously costly and labor-intensive. To overcome this issue, we propose a simple yet effective zero-shot referring image segmentation method by leveraging the pre-trained cross-modal knowledge from CLIP. In order to obtain segmentation masks grounded to the input text, we propose a mask-guided visual encoder that captures global and local contextual information of an input image. By utilizing instance masks obtained from off-the-shelf mask proposal techniques, our method is able to segment fine-detailed Istance-level groundings. We also introduce a global-local text encoder where the global feature captures complex sentence-level semantics of the entire input expression while the local feature focuses on the target noun phrase extracted by a dependency parser. In our experiments, the proposed method outperforms several zero-shot baselines of the task and even the weakly supervised referring expression segmentation method with substantial margins. Our code is available at https://github.com/Seonghoon-Yu/Zero-shot-RIS.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI