Foundation Model Drives Weakly Incremental Learning for Semantic Segmentation

要約

【タイトル】ファンデーションモデルによる弱い増分学習がセマンティックセグメンテーションを推進する

【要約】
– セマンティックセグメンテーションのための現代的な増分学習法は、通常、密な注釈に基づいて新しいカテゴリを学習する。それにもかかわらず、ピクセル単位のラベル付けはコストがかかり、時間がかかる。
– 弱い増分学習によるセマンティックセグメンテーション（WILSS）は、新しいクラスを安価で広く利用可能な画像レベルのラベルからセグメンテーションすることを目的とした新しい魅力的なタスクである。
– 画像レベルのラベルは、各セグメントを見つけるための詳細を提供できないため、WILSSの性能が制限される。
– この問題を解決するために、本研究では、FMWISSという弱い増分学習のための新しいフレームワークを提案し、基本モデルを使用してドメイン間共起法を提案することで、新しいクラスの詳細なセグメンテーションを可能にする。
– 提案された方法は、Pascal VOCおよびCOCOデータセット上で実験が行われ、他の手法に比べて優れた結果を示した。たとえば、15-5 VOC設定では、FMWISSが70.7％と73.3％を達成し、最新手法よりも3.4％から6.1％優れている。

要約(オリジナル)

Modern incremental learning for semantic segmentation methods usually learn new categories based on dense annotations. Although achieve promising results, pixel-by-pixel labeling is costly and time-consuming. Weakly incremental learning for semantic segmentation (WILSS) is a novel and attractive task, which aims at learning to segment new classes from cheap and widely available image-level labels. Despite the comparable results, the image-level labels can not provide details to locate each segment, which limits the performance of WILSS. This inspires us to think how to improve and effectively utilize the supervision of new classes given image-level labels while avoiding forgetting old ones. In this work, we propose a novel and data-efficient framework for WILSS, named FMWISS. Specifically, we propose pre-training based co-segmentation to distill the knowledge of complementary foundation models for generating dense pseudo labels. We further optimize the noisy pseudo masks with a teacher-student architecture, where a plug-in teacher is optimized with a proposed dense contrastive loss. Moreover, we introduce memory-based copy-paste augmentation to improve the catastrophic forgetting problem of old classes. Extensive experiments on Pascal VOC and COCO datasets demonstrate the superior performance of our framework, e.g., FMWISS achieves 70.7% and 73.3% in the 15-5 VOC setting, outperforming the state-of-the-art method by 3.4% and 6.1%, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI