Weak-shot Semantic Segmentation via Dual Similarity Transfer

要約

セマンティックセグメンテーションは重要かつ一般的なタスクであるが、より広い用途でより多くのクラスに拡張する場合、ピクセルレベルのアノテーションの高いコストに深刻な悩みを抱えることになる。このため、我々はweak-shot semantic segmentationと呼ばれる問題に注目する。この問題では、新規クラスは、既製のピクセルレベルラベルを持つ基本クラスのサポートにより、安価な画像レベルラベルから学習される。この問題に取り組むため、我々はSimFormerを提案する。SimFormerはMaskFormerの二重類似性転送を行う。具体的には、MaskFormerは意味的セグメンテーションタスクを、各提案の分類と提案セグメンテーションという2つのサブタスクに分離する。提案セグメンテーションにより、ベースクラスから新規クラスへの提案画素間類似度転送が可能となり、新規クラスのマスク学習ができるようになる。また、ベースクラスから画素間類似度を学習し、そのようなクラスにとらわれない意味的類似度を新規クラスの意味的マスクに抽出することで、画像間の画素レベルの意味的関係でセグメンテーションモデルを正則化することが可能である。さらに、新規クラスの学習を促進するために、補完損失を提案する。COCO-Stuff-10KとADE20Kという難易度の高いデータセットに対する包括的な実験により、本手法の有効性を実証する。コードは https://github.com/bcmi/SimFormer-Weak-Shot-Semantic-Segmentation で公開されている。

要約(オリジナル)

Semantic segmentation is an important and prevalent task, but severely suffers from the high cost of pixel-level annotations when extending to more classes in wider applications. To this end, we focus on the problem named weak-shot semantic segmentation, where the novel classes are learnt from cheaper image-level labels with the support of base classes having off-the-shelf pixel-level labels. To tackle this problem, we propose SimFormer, which performs dual similarity transfer upon MaskFormer. Specifically, MaskFormer disentangles the semantic segmentation task into two sub-tasks: proposal classification and proposal segmentation for each proposal. Proposal segmentation allows proposal-pixel similarity transfer from base classes to novel classes, which enables the mask learning of novel classes. We also learn pixel-pixel similarity from base classes and distill such class-agnostic semantic similarity to the semantic masks of novel classes, which regularizes the segmentation model with pixel-level semantic relationship across images. In addition, we propose a complementary loss to facilitate the learning of novel classes. Comprehensive experiments on the challenging COCO-Stuff-10K and ADE20K datasets demonstrate the effectiveness of our method. Codes are available at https://github.com/bcmi/SimFormer-Weak-Shot-Semantic-Segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL