Adaptive FSS: A Novel Few-Shot Segmentation Framework via Prototype Enhancement

要約

フューショット セグメンテーション (FSS) は、いくつかの注釈付き画像を使用して新しいクラス セグメンテーション タスクを実行することを目的としています。
メタ学習に基づく現在の FSS 研究は、クエリとサポート機能の間の複雑な相互作用メカニズムの設計に焦点を当てています。
しかし、限られたサンプルから新しいことを迅速に学習できる人間とは異なり、既存のアプローチは新しいタスクに取り組むために固定特徴マッチングのみに依存しており、適応性に欠けています。
この論文では、既存の FSS モデルを新しいクラスに効率的に適応させることができる、アダプター メカニズムに基づく新しいフレームワーク、つまり Adaptive FSS を提案します。
詳細には、サポート セットによって提供される正確なカテゴリ情報を利用してクラス プロトタイプを導出するプロトタイプ アダプティブ モジュール (PAM) を設計し、多段階表現におけるクラス固有の情報を強化します。
さらに、私たちのアプローチは、エンコーダの層の間に PAM を挿入するだけで、異なるバックボーンを持つ多様な FSS 手法と互換性があります。
実験では、私たちの方法が FSS モデル (MSANet、HDMNet、FPTrans、DCAMA など) のパフォーマンスを効果的に向上させ、新しい最先端 (SOTA) の結果 (つまり、72.4\% および 79.1\% mIoU) を達成できることを示しています。
PASCAL-5$^i$ では 1 ショットおよび 5 ショット設定、COCO-20$^i$ では 52.7\% および 60.0\% mIoU 1 ショットおよび 5 ショット設定)。
私たちのコードは https://github.com/jingw193/AdaptiveFSS から入手できます。

要約(オリジナル)

The Few-Shot Segmentation (FSS) aims to accomplish the novel class segmentation task with a few annotated images. Current FSS research based on meta-learning focus on designing a complex interaction mechanism between the query and support feature. However, unlike humans who can rapidly learn new things from limited samples, the existing approach relies solely on fixed feature matching to tackle new tasks, lacking adaptability. In this paper, we propose a novel framework based on the adapter mechanism, namely Adaptive FSS, which can efficiently adapt the existing FSS model to the novel classes. In detail, we design the Prototype Adaptive Module (PAM), which utilizes accurate category information provided by the support set to derive class prototypes, enhancing class-specific information in the multi-stage representation. In addition, our approach is compatible with diverse FSS methods with different backbones by simply inserting PAM between the layers of the encoder. Experiments demonstrate that our method effectively improves the performance of the FSS models (e.g., MSANet, HDMNet, FPTrans, and DCAMA) and achieve new state-of-the-art (SOTA) results (i.e., 72.4\% and 79.1\% mIoU on PASCAL-5$^i$ 1-shot and 5-shot settings, 52.7\% and 60.0\% mIoU on COCO-20$^i$ 1-shot and 5-shot settings). Our code can be available at https://github.com/jingw193/AdaptiveFSS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google