Multi-Content Interaction Network for Few-Shot Segmentation

要約

タイトル：Few-Shot Segmentation用のMulti-Content Interaction Network

要約：
– Few-Shot Segmentation（FSS）は、限られたサポート画像と大きなクラス内外観の違いのために難しい。従来のアプローチは、サポートクエリ相関のために同じ層から高レベルの表現を抽出することに重点を置いており、サポートとクエリのサンプル間に huge difference があるため、異なるレイヤーやスケール間のシフト問題を無視しています。
– 本論文では、Multi-Content Interaction Network（MCINet）を提唱して、同じレイヤー間の相関を補うためにサポートクエリのマルチスケールのコンテキスト情報を完全に活用して相互作用させます。具体的には、MCINetは、もう一つのクエリブランチの低レベルの構造情報を高レベルの意味的特徴に取り入れてクエリ表現を向上させ、同じ層と隣接層の特徴を両方利用してサポート-クエリ相関を強化し、異なるスケールの内容が双方向に相互作用するマルチスケールマスク予測戦略によって予測結果を調整します。
– 2つのベンチマーク実験により、本手法がSOTAの性能を発揮し、特にチャレンジングなCOCOデータセットにおいて最高の競合手法を凌駕する多くの望ましい利点があることが示されました。

要約(オリジナル)

Few-Shot Segmentation (FSS) is challenging for limited support images and large intra-class appearance discrepancies. Most existing approaches focus on extracting high-level representations of the same layers for support-query correlations, neglecting the shift issue between different layers and scales, due to the huge difference between support and query samples. In this paper, we propose a Multi-Content Interaction Network (MCINet) to remedy this issue by fully exploiting and interacting with the multi-scale contextual information contained in the support-query pairs to supplement the same-layer correlations. Specifically, MCINet improves FSS from the perspectives of boosting the query representations by incorporating the low-level structural information from another query branch into the high-level semantic features, enhancing the support-query correlations by exploiting both the same-layer and adjacent-layer features, and refining the predicted results by a multi-scale mask prediction strategy, with which the different scale contents have bidirectionally interacted. Experiments on two benchmarks demonstrate that our approach reaches SOTA performances and outperforms the best competitors with many desirable advantages, especially on the challenging COCO dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI