Separate and Conquer: Decoupling Co-occurrence via Decomposition and Representation for Weakly Supervised Semantic Segmentation

要約

共起オブジェクトの頻繁な結合と画像レベルのラベルによる限定的な監視に起因して、困難な共起問題が広く存在し、弱監視セマンティック セグメンテーション (WSSS) におけるオブジェクトの誤った活性化につながります。
この研究では、画像空間と特徴空間の次元からこの問題に取り組むために、SeCo の「分離と征服」スキームを考案しました。
画像空間では、画像をパッチに細分化することで画像分解を行い、共起するオブジェクトを「分離」することを提案します。
重要なのは、クラス アクティベーション マップ (CAM) から各パッチにカテゴリ タグを割り当てることで、空間的に共文脈バイアスを除去し、その後の表現をガイドするのに役立ちます。
特徴空間では、多粒度の知識のコントラストで意味論的表現を強化することにより、誤ったアクティベーションを「克服」することを提案します。
この目的を達成するために、二重教師、単一生徒のアーキテクチャが設計され、知識の正確さを保証し、共起オブジェクト間の不一致をさらに促進するためにタグに基づいてコントラストが実行されます。
私たちは多段階の WSSS パイプラインをエンドツーエンドで合理化し、外部の監督なしで同時発生に取り組みます。
広範な実験が実施され、共起に取り組む当社の手法の効率性と、PASCAL VOC および MS COCO における以前の単一段階および複数段階の競合他社よりも優れていることが検証されています。
コードが利用可能になります。

要約(オリジナル)

Attributed to the frequent coupling of co-occurring objects and the limited supervision from image-level labels, the challenging co-occurrence problem is widely present and leads to false activation of objects in weakly supervised semantic segmentation (WSSS). In this work, we devise a ‘Separate and Conquer’ scheme SeCo to tackle this issue from dimensions of image space and feature space. In the image space, we propose to ‘separate’ the co-occurring objects with image decomposition by subdividing images into patches. Importantly, we assign each patch a category tag from Class Activation Maps (CAMs), which spatially helps remove the co-context bias and guide the subsequent representation. In the feature space, we propose to ‘conquer’ the false activation by enhancing semantic representation with multi-granularity knowledge contrast. To this end, a dual-teacher-single-student architecture is designed and tag-guided contrast is conducted to guarantee the correctness of knowledge and further facilitate the discrepancy among co-occurring objects. We streamline the multi-staged WSSS pipeline end-to-end and tackle co-occurrence without external supervision. Extensive experiments are conducted, validating the efficiency of our method tackling co-occurrence and the superiority over previous single-staged and even multi-staged competitors on PASCAL VOC and MS COCO. Code will be available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google