Relevant Intrinsic Feature Enhancement Network for Few-Shot Semantic Segmentation

要約

少数ショットのセマンティック セグメンテーションの主なタスクは、限定されたラベル付きデータからクラス固有の固有情報を抽出することです。
ただし、以前の方法の意味論的な曖昧さとクラス間の類似性により、ピクセルレベルの前景と背景の分類の精度が制限されます。
これらの問題を軽減するために、Relevant Intrinsic Feature Enhancement Network (RiFeNet) を提案します。
フォアグラウンド インスタンスのセマンティック一貫性を向上させるために、効率的なデータ利用方法としてラベルなしブランチを提案します。これは、クラス内の差異に対して堅牢な固有の特徴を抽出する方法をモデルに教えます。
特に、テスト中に、提案されたラベルなしブランチは、追加のラベルなしデータと計算なしで除外されます。
さらに、新しいマルチレベルのプロトタイプ生成および対話モジュールを提案することで、前景と背景の間のクラス間の変動性を拡張します。
グローバル プロトタイプとローカル プロトタイプ間の異なる粒度の相補性により、類似したカテゴリ間をより適切に区別できるようになります。
RiFeNet の定性的および定量的なパフォーマンスは、PASCAL-5i および COCO ベンチマークにおける最先端の手法を上回っています。

要約(オリジナル)

For few-shot semantic segmentation, the primary task is to extract class-specific intrinsic information from limited labeled data. However, the semantic ambiguity and inter-class similarity of previous methods limit the accuracy of pixel-level foreground-background classification. To alleviate these issues, we propose the Relevant Intrinsic Feature Enhancement Network (RiFeNet). To improve the semantic consistency of foreground instances, we propose an unlabeled branch as an efficient data utilization method, which teaches the model how to extract intrinsic features robust to intra-class differences. Notably, during testing, the proposed unlabeled branch is excluded without extra unlabeled data and computation. Furthermore, we extend the inter-class variability between foreground and background by proposing a novel multi-level prototype generation and interaction module. The different-grained complementarity between global and local prototypes allows for better distinction between similar categories. The qualitative and quantitative performance of RiFeNet surpasses the state-of-the-art methods on PASCAL-5i and COCO benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google