Activating the Discriminability of Novel Classes for Few-shot Segmentation

要約

既存の少数点群分割手法は目覚ましい成果を上げているが、2つの重要な課題が残されている。まず、新規クラスは常に背景として扱われるため、新規クラスの特徴学習はベースクラスの学習時に抑制される。そのため、新規クラスの意味付けが十分に学習されない。第二に、既存の手法の多くは、少ないサポートサンプルによる代表的なバイアスに起因する、サポートとクエリの間の意味的ギャップを考慮しないことである。これらの課題を回避するために、我々はセグメンテーションのための特徴量のエンコード段階と予測段階の両方で、新規クラスの識別性を明示的に活性化することを提案する。特徴量のエンコード段階では、入力画像全体、特に新規クラスに属する背景の潜在的な意味量をまず利用し、次に保持するように、意味保持型特徴学習モジュール(Semantic-Preserving Feature Learning module: SPFL)を設計する。セグメンテーションの予測段階では、自己定義型オンライン前景・背景分類器（SROFB）を学習し、クエリ画像の高信頼性画素を用いて自己改良することで、クエリ画像への適応を容易にし、サポート-クエリのセマンティックギャップを埋めることが可能となる。PASCAL-5$^i$とCOCO-20$^i$データセットに対する広範な実験により、これら二つの新しい設計の優位性が定量的、定性的にも証明された。

要約(オリジナル)

Despite the remarkable success of existing methods for few-shot segmentation, there remain two crucial challenges. First, the feature learning for novel classes is suppressed during the training on base classes in that the novel classes are always treated as background. Thus, the semantics of novel classes are not well learned. Second, most of existing methods fail to consider the underlying semantic gap between the support and the query resulting from the representative bias by the scarce support samples. To circumvent these two challenges, we propose to activate the discriminability of novel classes explicitly in both the feature encoding stage and the prediction stage for segmentation. In the feature encoding stage, we design the Semantic-Preserving Feature Learning module (SPFL) to first exploit and then retain the latent semantics contained in the whole input image, especially those in the background that belong to novel classes. In the prediction stage for segmentation, we learn an Self-Refined Online Foreground-Background classifier (SROFB), which is able to refine itself using the high-confidence pixels of query image to facilitate its adaptation to the query image and bridge the support-query semantic gap. Extensive experiments on PASCAL-5$^i$ and COCO-20$^i$ datasets demonstrates the advantages of these two novel designs both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL