Enhancing Generalized Few-Shot Semantic Segmentation via Effective Knowledge Transfer

要約

一般化少数ショット セマンティック セグメンテーション (GFSS) は、基本クラスの十分なサンプルと新規クラスの少数のサンプルを使用して、基本クラスと新規クラスの両方のオブジェクトをセグメント化することを目的としています。
代表的な GFSS アプローチは通常、基本クラスの事前トレーニングとそれに続く新規クラスの微調整を含む 2 段階のトレーニング スキームを採用し、基本クラスと新規クラスの分類器をそれぞれ学習します。
それにもかかわらず、このプロセスでは基本クラスと新規クラスの間に分布ギャップが存在します。
このギャップを縮めるために、基本クラスから新規クラスへの効果的な知識伝達を活用します。
まず、新規プロトタイプ変調モジュールは、基本クラスと新規クラス間の相関を利用して新規クラス・プロトタイプを変調するように設計されています。
第２に、基本分類器の重み分布に従って新規分類器の重み分布を補正する新しい分類器校正モジュールが提案される。
さらに、既存の GFSS アプローチは、サンプルが限られているため、新規クラスのコンテキスト情報が不足しているという問題があります。そこで、コンテキスト整合性学習スキームを導入して、コンテキスト知識をベースから新規クラスに転送します。
PASCAL-5$^i$ と COCO-20$^i$ に関する広範な実験により、我々のアプローチが GFSS 設定における最先端技術を大幅に向上させることが実証されました。
コードは https://github.com/HHHHedy/GFSS-EKT で入手できます。

要約(オリジナル)

Generalized few-shot semantic segmentation (GFSS) aims to segment objects of both base and novel classes, using sufficient samples of base classes and few samples of novel classes. Representative GFSS approaches typically employ a two-phase training scheme, involving base class pre-training followed by novel class fine-tuning, to learn the classifiers for base and novel classes respectively. Nevertheless, distribution gap exists between base and novel classes in this process. To narrow this gap, we exploit effective knowledge transfer from base to novel classes. First, a novel prototype modulation module is designed to modulate novel class prototypes by exploiting the correlations between base and novel classes. Second, a novel classifier calibration module is proposed to calibrate the weight distribution of the novel classifier according to that of the base classifier. Furthermore, existing GFSS approaches suffer from a lack of contextual information for novel classes due to their limited samples, we thereby introduce a context consistency learning scheme to transfer the contextual knowledge from base to novel classes. Extensive experiments on PASCAL-5$^i$ and COCO-20$^i$ demonstrate that our approach significantly enhances the state of the art in the GFSS setting. The code is available at: https://github.com/HHHHedy/GFSS-EKT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google