Few-shot Semantic Segmentation with Support-induced Graph Convolutional Network

要約

FSS（Few-shot Semantic Segmentation）は、わずかなアノテーションサンプルで新規オブジェクトのセグメンテーションを実現することを目的とし、近年大きな発展を遂げている。既存のFSSモデルの多くは、サポートとクエリの間の特徴量のマッチングに着目してFSSに取り組んでいる。しかし，同一カテゴリ内の物体間の外観のばらつきは非常に大きく，特徴量のマッチングやクエリのマスク予測の信頼性に欠ける可能性がある．そこで、我々は、クエリ画像の潜在的な文脈構造を明示的に掘り起こすサポート誘導型グラフ畳み込みネットワーク(SiGCN)を提案する。具体的には、サポート付きグラフ推論（SiGR）モジュールを提案し、サポート付きGCNを用いて、異なる意味レベルでの顕著なクエリオブジェクト部分を捕捉します。さらに、サポートとクエリの両方のインスタンスから高次のインスタンスコンテキストを捕捉するためのインスタンス関連付け（IA）モジュールを設計する。提案する2つのモジュールを統合することで、SiGCNは豊富なクエリコンテキスト表現を学習することができ、その結果、外観の変化に対してより頑健になることが期待されます。PASCAL-5iとCOCO-20iを用いた広範な実験により、我々のSiGCNが最先端の性能を達成することが示された。

要約(オリジナル)

Few-shot semantic segmentation (FSS) aims to achieve novel objects segmentation with only a few annotated samples and has made great progress recently. Most of the existing FSS models focus on the feature matching between support and query to tackle FSS. However, the appearance variations between objects from the same category could be extremely large, leading to unreliable feature matching and query mask prediction. To this end, we propose a Support-induced Graph Convolutional Network (SiGCN) to explicitly excavate latent context structure in query images. Specifically, we propose a Support-induced Graph Reasoning (SiGR) module to capture salient query object parts at different semantic levels with a Support-induced GCN. Furthermore, an instance association (IA) module is designed to capture high-order instance context from both support and query instances. By integrating the proposed two modules, SiGCN can learn rich query context representation, and thus being more robust to appearance variations. Extensive experiments on PASCAL-5i and COCO-20i demonstrate that our SiGCN achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL