Prototypical Kernel Learning and Open-set Foreground Perception for Generalized Few-shot Semantic Segmentation

要約

Generalized Few-shot Semantic Segmentation (GFSS) は、Few-shot Semantic Segmentation (FSS) を拡張して、評価中に目に見えないクラスと認識されているクラスを同時にセグメント化します。
以前の作業では、追加のブランチまたはプロトタイプの集約を活用して、FSS の制約された設定を排除しました。
ただし、GFSS のパフォーマンス低下に大きくつながる表現分割と偏見の埋め込みについては、総合的に考慮されていません。
私たちは、プロトタイプのカーネル学習とオープンセットの前景認識を結合することで、前述の問題に対処します。
具体的には、スタッフクラスを担当する各カーネルでセグメンテーションを実行する学習可能なカーネルのグループが提案されています。
次に、プロトタイプ学習を基本クラス カーネルの更新にマージすることを検討します。これは、少数ショットの新規クラスのプロトタイプ知識の集約と一致します。
さらに、条件付きバイアスベースの推論と連携する前景文脈認識モジュールを採用して、クラスに依存しないオープンセットの前景検出を実行することで、埋め込み偏見を軽減し、新しいターゲットが背景として誤って分類されるのを防ぎます。
さらに、新規クラスの知識を増分ストリームで取得する Class Incremental Few-shot Semantic Segmentation (CIFSS) にもメソッドを調整します。
PASCAL-5i および COCO-20i データセットに対する広範な実験により、私たちの手法が以前の最先端の手法よりも優れたパフォーマンスを発揮することが実証されました。

要約(オリジナル)

Generalized Few-shot Semantic Segmentation (GFSS) extends Few-shot Semantic Segmentation (FSS) to simultaneously segment unseen classes and seen classes during evaluation. Previous works leverage additional branch or prototypical aggregation to eliminate the constrained setting of FSS. However, representation division and embedding prejudice, which heavily results in poor performance of GFSS, have not been synthetical considered. We address the aforementioned problems by jointing the prototypical kernel learning and open-set foreground perception. Specifically, a group of learnable kernels is proposed to perform segmentation with each kernel in charge of a stuff class. Then, we explore to merge the prototypical learning to the update of base-class kernels, which is consistent with the prototype knowledge aggregation of few-shot novel classes. In addition, a foreground contextual perception module cooperating with conditional bias based inference is adopted to perform class-agnostic as well as open-set foreground detection, thus to mitigate the embedding prejudice and prevent novel targets from being misclassified as background. Moreover, we also adjust our method to the Class Incremental Few-shot Semantic Segmentation (CIFSS) which takes the knowledge of novel classes in a incremental stream. Extensive experiments on PASCAL-5i and COCO-20i datasets demonstrate that our method performs better than previous state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google