Progressive Feature Self-reinforcement for Weakly Supervised Semantic Segmentation

要約

ピクセルレベルの監視を伴う従来のセマンティックセグメンテーションと比較して、画像レベルのラベルを伴う弱監視セマンティックセグメンテーション（WSSS）は、常に最も識別力の高い領域に焦点を当て、完全に監視された条件間で差異が生じるという課題を引き起こします。
典型的な症状は、オブジェクト境界の精度の低下であり、WSSS の精度の低下につながります。
この問題を軽減するために、画像コンテンツを決定論的な領域 (例: 信頼できる前景と背景) と不確実な領域 (例: オブジェクトの境界や誤って分類されたカテゴリ) に適応的に分割し、個別に処理することを提案します。
不確実な手がかりについては、アクティベーションベースのマスキング戦略を採用し、自己蒸留された知識を使用してローカル情報を回復しようとします。
さらに、マスクされていない信頼領域は、グローバル セマンティクスを維持するのに十分な堅牢性があるはずであると仮定します。
これに基づいて、これらの信頼領域と同じクラス ラベルを持つ拡張画像の間の意味の一貫性を制約する補完的な自己強化手法を導入します。
PASCAL VOC 2012 と MS COCO 2014 で行われた広範な実験により、私たちが提案した WSSS 用の 1 段階アプローチが最先端のベンチマークを著しく上回るだけでなく、精度と引き換えに複雑さを犠牲にする複数段階の方法論も上回っていることが実証されました。
コードは \url{https://github.com/Jessie459/feature-self-reinforcement} にあります。

要約(オリジナル)

Compared to conventional semantic segmentation with pixel-level supervision, Weakly Supervised Semantic Segmentation (WSSS) with image-level labels poses the challenge that it always focuses on the most discriminative regions, resulting in a disparity between fully supervised conditions. A typical manifestation is the diminished precision on the object boundaries, leading to a deteriorated accuracy of WSSS. To alleviate this issue, we propose to adaptively partition the image content into deterministic regions (e.g., confident foreground and background) and uncertain regions (e.g., object boundaries and misclassified categories) for separate processing. For uncertain cues, we employ an activation-based masking strategy and seek to recover the local information with self-distilled knowledge. We further assume that the unmasked confident regions should be robust enough to preserve the global semantics. Building upon this, we introduce a complementary self-enhancement method that constrains the semantic consistency between these confident regions and an augmented image with the same class labels. Extensive experiments conducted on PASCAL VOC 2012 and MS COCO 2014 demonstrate that our proposed single-stage approach for WSSS not only outperforms state-of-the-art benchmarks remarkably but also surpasses multi-stage methodologies that trade complexity for accuracy. The code can be found at \url{https://github.com/Jessie459/feature-self-reinforcement}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google