A Joint Framework Towards Class-aware and Class-agnostic Alignment for Few-shot Segmentation

要約

少数ショット セグメンテーション (FSS) は、少数の注釈付きサポート イメージのみが与えられた場合に、目に見えないクラスのオブジェクトをセグメント化することを目的としています。
ほとんどの既存の方法は、クエリの特徴を独立したサポート プロトタイプと単純につなぎ合わせ、混合された特徴をデコーダに供給することによってクエリ イメージをセグメント化します。
大幅な改善が達成されましたが、既存のメソッドは、クラスのバリアントと背景の混乱により、依然としてクラスのバイアスに直面しています。
このホワイトペーパーでは、セグメンテーションを容易にするために、より価値のあるクラス認識とクラスにとらわれないアライメントガイダンスを組み合わせた共同フレームワークを提案します。
具体的には、対応するサポート機能から各クエリ画像に最も関連するクラス認識情報をマイニングするために、マルチスケールクエリサポート対応を確立するハイブリッドアライメントモジュールを設計します。
さらに、基本クラスの知識を利用して、すべてのオブジェクト領域、特に目に見えないクラスのオブジェクト領域を強調表示することにより、実際の背景と前景を区別するクラスに依存しない事前マスクを生成することを検討します。
クラス認識およびクラス非依存のアライメント ガイダンスを一緒に集約することにより、クエリ イメージでより優れたセグメンテーション パフォーマンスが得られます。
PASCAL-$5^i$ および COCO-$20^i$ データセットでの広範な実験により、特にワンショット設定で、提案された共同フレームワークがより優れたパフォーマンスを発揮することが実証されました。

要約(オリジナル)

Few-shot segmentation (FSS) aims to segment objects of unseen classes given only a few annotated support images. Most existing methods simply stitch query features with independent support prototypes and segment the query image by feeding the mixed features to a decoder. Although significant improvements have been achieved, existing methods are still face class biases due to class variants and background confusion. In this paper, we propose a joint framework that combines more valuable class-aware and class-agnostic alignment guidance to facilitate the segmentation. Specifically, we design a hybrid alignment module which establishes multi-scale query-support correspondences to mine the most relevant class-aware information for each query image from the corresponding support features. In addition, we explore utilizing base-classes knowledge to generate class-agnostic prior mask which makes a distinction between real background and foreground by highlighting all object regions, especially those of unseen classes. By jointly aggregating class-aware and class-agnostic alignment guidance, better segmentation performances are obtained on query images. Extensive experiments on PASCAL-$5^i$ and COCO-$20^i$ datasets demonstrate that our proposed joint framework performs better, especially on the 1-shot setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google