FECANet: Boosting Few-Shot Semantic Segmentation with Feature-Enhanced Context-Aware Network

要約

少数ショット セマンティック セグメンテーションは、少数の注釈付きサポート画像のみを使用して、クエリ画像内の新しいクラスの各ピクセルを見つけることを学習するタスクです。
典型的なプロトタイプベースのアプローチはきめの細かい対応関係を学習できないため、現在の相関ベースの方法は、ペアワイズ特徴相関を構築して多対多マッチングを確立します。
ただし、既存の方法は、単純な相関関係に含まれるノイズと、相関関係のコンテキスト セマンティック情報の欠如に悩まされています。
上記の問題を軽減するために、機能拡張コンテキスト認識ネットワーク (FECANet) を提案します。
具体的には、クラス間の局所的類似性によって引き起こされるマッチング ノイズを抑制し、ナイーブ相関におけるクラス内関連性を強化するために、特徴強化モジュールが提案されています。
さらに、フォアグラウンドとバックグラウンドの間の余分な対応関係とマルチスケール コンテキスト セマンティック機能をエンコードする新しい相関再構築モジュールを提案し、エンコーダーを大幅に強化して信頼性の高いマッチング パターンをキャプチャします。
PASCAL-$5^i$ および COCO-$20^i$ データセットでの実験は、提案した FECANet が以前の最先端技術と比較して顕著な改善をもたらし、その有効性を実証することを示しています。

要約(オリジナル)

Few-shot semantic segmentation is the task of learning to locate each pixel of the novel class in the query image with only a few annotated support images. The current correlation-based methods construct pair-wise feature correlations to establish the many-to-many matching because the typical prototype-based approaches cannot learn fine-grained correspondence relations. However, the existing methods still suffer from the noise contained in naive correlations and the lack of context semantic information in correlations. To alleviate these problems mentioned above, we propose a Feature-Enhanced Context-Aware Network (FECANet). Specifically, a feature enhancement module is proposed to suppress the matching noise caused by inter-class local similarity and enhance the intra-class relevance in the naive correlation. In addition, we propose a novel correlation reconstruction module that encodes extra correspondence relations between foreground and background and multi-scale context semantic features, significantly boosting the encoder to capture a reliable matching pattern. Experiments on PASCAL-$5^i$ and COCO-$20^i$ datasets demonstrate that our proposed FECANet leads to remarkable improvement compared to previous state-of-the-arts, demonstrating its effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google