Elimination of Non-Novel Segments at Multi-Scale for Few-Shot Segmentation

要約

Few-shot segmentation は、学習時に、クエリのクラスと一致する少数のサポート画像を用いて、クエリ画像を未見クラスから分離する汎化モデルを考案することを目的としている。従来の研究では、空間的な不一致と、見たことのあるクラスへの偏りという領域特有の問題がある。本手法では、前者の問題を考慮し、サポート特徴量とクエリ特徴量を複数のスケールで比較することで、スケールに依存しない特徴量推定を実現する。後者の問題に対しては、ベース学習器と呼ばれる教師付きモデルを利用可能なクラスに対して学習させ、見られるクラスに属する画素を正確に同定する。そして、メタ学習器とベース学習器を協調させるアンサンブル学習モデルを用いて、メタ学習器に続くメタ学習器は、見たことのあるクラスに属する領域を破棄する機会を持つ。我々は、この2つの重要な問題を同時に解決し、PASCAL-5iとCOCO-20iの両データセットにおいて最先端の性能を達成することに成功した。

要約(オリジナル)

Few-shot segmentation aims to devise a generalizing model that segments query images from unseen classes during training with the guidance of a few support images whose class tally with the class of the query. There exist two domain-specific problems mentioned in the previous works, namely spatial inconsistency and bias towards seen classes. Taking the former problem into account, our method compares the support feature map with the query feature map at multi scales to become scale-agnostic. As a solution to the latter problem, a supervised model, called as base learner, is trained on available classes to accurately identify pixels belonging to seen classes. Hence, subsequent meta learner has a chance to discard areas belonging to seen classes with the help of an ensemble learning model that coordinates meta learner with the base learner. We simultaneously address these two vital problems for the first time and achieve state-of-the-art performances on both PASCAL-5i and COCO-20i datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL