A Self-Distillation Embedded Supervised Affinity Attention Model for Few-Shot Segmentation

要約

少数ショット セグメンテーションは、モデルの一般化に焦点を当てて、限られた注釈付きサンプルで目に見えないオブジェクトをセグメント化します。
ただし、既存のアプローチは依然として 2 つの主な課題に直面しています。
第 1 に、サポート イメージとクエリ イメージの間の大きな機能の違いにより、知識伝達の障壁が生じ、セグメンテーションのパフォーマンスが損なわれます。
第 2 に、限定されたサポート プロトタイプは、サポート オブジェクトの機能を適切に表すことができず、高品質のクエリ セグメンテーションを導くことが困難です。
上記の 2 つの問題に対処するために、少数ショット セグメンテーション タスクのパフォーマンスを向上させるために、教師付きアフィニティ アテンション モデルを組み込んだ自己蒸留を提案します。
具体的には、自己蒸留ガイド付きプロトタイプ モジュールは、自己蒸留を使用して、サポートとクエリの機能を調整します。
教師付きアフィニティ アテンション モジュールは、高品質のクエリ アテンション マップを生成して、十分なオブジェクト情報を提供します。
広範な実験により、私たちのモデルが既存の方法と比較してパフォーマンスを大幅に改善することが証明されています。
包括的なアブレーション実験と視覚化研究も、少数ショットのセグメンテーションタスクに対する私たちの方法の重要な効果を示しています。
COCO-20i データセットでは、新しい最先端の結果を達成しています。
トレーニング コードと事前トレーニング済みモデルは、https://github.com/cv516Buaa/SD-AANet で入手できます。

要約(オリジナル)

Few-shot segmentation focuses on the generalization of models to segment unseen object with limited annotated samples. However, existing approaches still face two main challenges. First, huge feature distinction between support and query images causes knowledge transferring barrier, which harms the segmentation performance. Second, limited support prototypes cannot adequately represent features of support objects, hard to guide high-quality query segmentation. To deal with the above two issues, we propose self-distillation embedded supervised affinity attention model to improve the performance of few-shot segmentation task. Specifically, the self-distillation guided prototype module uses self-distillation to align the features of support and query. The supervised affinity attention module generates high-quality query attention map to provide sufficient object information. Extensive experiments prove that our model significantly improves the performance compared to existing methods. Comprehensive ablation experiments and visualization studies also show the significant effect of our method on few-shot segmentation task. On COCO-20i dataset, we achieve new state-of-the-art results. Training code and pretrained models are available at https://github.com/cv516Buaa/SD-AANet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google