A Strong Baseline for Generalized Few-Shot Semantic Segmentation

要約

このホワイト ペーパーでは、簡単なトレーニング プロセスと最適化が容易な推論フェーズを備えた、一般化された少数ショット セグメンテーション フレームワークを紹介します。
特に、よく知られている InfoMax の原則に基づいたシンプルで効果的なモデルを提案します。このモデルでは、学習した特徴表現とそれに対応する予測の間の相互情報量 (MI) が最大化されます。
さらに、MI ベースの定式化から派生した用語は、基本クラスに関する知識を保持するための知識蒸留用語と結合されています。
シンプルなトレーニング プロセスで、基本クラスでトレーニングされたセグメンテーション ネットワークの上に推論モデルを適用できます。
提案された推論は、一般的な少数ショット セグメンテーション ベンチマークである PASCAL-$5^i$ および COCO-$20^i$ を大幅に改善します。
特に、新しいクラスの場合、1 ショットおよび 5 ショットのシナリオでは、5% から 20% (PASCAL-$5^i$) および 2.5% から 10.5% (COCO-$20^i$) の改善効果が得られます。
それぞれ。
さらに、パフォーマンスのギャップがさらに悪化する、より挑戦的な設定を提案します。
私たちのコードは、https://github.com/sinahmr/DIAM で公開されています。

要約(オリジナル)

This paper introduces a generalized few-shot segmentation framework with a straightforward training process and an easy-to-optimize inference phase. In particular, we propose a simple yet effective model based on the well-known InfoMax principle, where the Mutual Information (MI) between the learned feature representations and their corresponding predictions is maximized. In addition, the terms derived from our MI-based formulation are coupled with a knowledge distillation term to retain the knowledge on base classes. With a simple training process, our inference model can be applied on top of any segmentation network trained on base classes. The proposed inference yields substantial improvements on the popular few-shot segmentation benchmarks PASCAL-$5^i$ and COCO-$20^i$. Particularly, for novel classes, the improvement gains range from 5% to 20% (PASCAL-$5^i$) and from 2.5% to 10.5% (COCO-$20^i$) in the 1-shot and 5-shot scenarios, respectively. Furthermore, we propose a more challenging setting, where performance gaps are further exacerbated. Our code is publicly available at https://github.com/sinahmr/DIaM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google