Hunting Attributes: Context Prototype-Aware Learning for Weakly Supervised Semantic Segmentation

要約

最近の弱教師セマンティック セグメンテーション (WSSS) 手法は、コンテキスト知識を組み込んでクラス アクティベーション マップ (CAM) の完全性を向上させることに努めています。
この研究では、インスタンスとコンテキストの間の知識バイアスが、インスタンスのセマンティクスを十分に理解するプロトタイプの能力に影響を与えると主張します。
プロトタイプ学習理論に触発され、プロトタイプ認識を活用してインスタンスの多様で詳細な特徴属性を捕捉することを提案します。
この仮説は、この知識バイアスにより、コンテキスト プロトタイプが類似した頻繁に共起するオブジェクト カテゴリを誤ってアクティブ化する可能性があるというものです。
したがって、セマンティックオブジェクト領域の空間カバレッジをより適切に捕捉するためにバイアスを軽減することでプロトタイプ表現能力を強化することを提案します。
この目標を達成するために、意味論的なコンテキストを活用してインスタンスの理解を強化するコンテキスト プロトタイプ認識学習 (CPAL) 戦略を提案します。
このメソッドの核心は、コンテキスト認識プロトタイプを通じてオブジェクト機能のクラス内の変動を正確に捕捉し、さまざまなインスタンスのセマンティック属性への適応を容易にすることです。
プロトタイプの認識を最適化するために特徴分布の調整を設計し、インスタンスの特徴分布を高密度特徴と調整します。
さらに、ラベルに基づく分類監視とプロトタイプに基づく自己監視を組み合わせる統合トレーニング フレームワークが提案されています。
PASCAL VOC 2012 および MS COCO 2014 の実験結果は、CPAL が既製の手法を大幅に改善し、最先端のパフォーマンスを達成することを示しています。
プロジェクトは https://github.com/Barrett-python/CPAL で入手できます。

要約(オリジナル)

Recent weakly supervised semantic segmentation (WSSS) methods strive to incorporate contextual knowledge to improve the completeness of class activation maps (CAM). In this work, we argue that the knowledge bias between instances and contexts affects the capability of the prototype to sufficiently understand instance semantics. Inspired by prototype learning theory, we propose leveraging prototype awareness to capture diverse and fine-grained feature attributes of instances. The hypothesis is that contextual prototypes might erroneously activate similar and frequently co-occurring object categories due to this knowledge bias. Therefore, we propose to enhance the prototype representation ability by mitigating the bias to better capture spatial coverage in semantic object regions. With this goal, we present a Context Prototype-Aware Learning (CPAL) strategy, which leverages semantic context to enrich instance comprehension. The core of this method is to accurately capture intra-class variations in object features through context-aware prototypes, facilitating the adaptation to the semantic attributes of various instances. We design feature distribution alignment to optimize prototype awareness, aligning instance feature distributions with dense features. In addition, a unified training framework is proposed to combine label-guided classification supervision and prototypes-guided self-supervision. Experimental results on PASCAL VOC 2012 and MS COCO 2014 show that CPAL significantly improves off-the-shelf methods and achieves state-of-the-art performance. The project is available at https://github.com/Barrett-python/CPAL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google