CoBra: Complementary Branch Fusing Class and Semantic Knowledge for Robust Weakly Supervised Semantic Segmentation

要約

イメージレベルのクラス知識から派生した意味的に正確な擬似マスクをセグメンテーションに活用すること、つまりイメージレベルの弱教師セマンティックセグメンテーション (WSSS) は依然として課題です。
CNN を使用したクラス アクティベーション マップ (CAM) は、WSSS の成功に着実に貢献していますが、結果として得られるアクティベーション マップは、多くの場合、クラス固有の部分 (たとえば、人間の顔のみ) に狭く焦点を当てています。
一方、ビジョントランスフォーマー（ViT）に基づく最近の研究は、意味部分を捕捉するための自己注意メカニズムに基づいて有望な結果を示していますが、完全なクラス固有の詳細（たとえば、人間の身体部分全体だけでなく、
近くに犬がいます）。
この研究では、クラス (CNN から) とセマンティック (ViT から) の貴重な補完的な知識を各ブランチに提供する 2 つの異なるアーキテクチャで構成される新しいデュアル ブランチ フレームワークである Complementary Branch (CoBra) を提案します。
特に、CNN ブランチでは Class-Aware Projection (CAP) を、ViT ブランチでは Semantic-Aware Projection (SAP) を学習して、それらの補完的な知識を明示的に融合し、新しいタイプの追加のパッチレベル監視を容易にします。
私たちのモデルは、CoBra を通じて CNN と ViT の相補的な出力を融合して、クラス情報とセマンティック情報の両方を効果的に統合する堅牢な擬似マスクを作成します。
広範な実験により、PASCAL VOC 2012 データセット上で CNN と ViT がどのように相互補完するかを定性的および定量的に調査し、最先端の WSSS 結果を示しています。
これには、モデルによって生成されたマスクだけでなく、これらのマスクを擬似ラベルとして利用して得られたセグメンテーションの結果も含まれます。

要約(オリジナル)

Leveraging semantically precise pseudo masks derived from image-level class knowledge for segmentation, namely image-level Weakly Supervised Semantic Segmentation (WSSS), still remains challenging. While Class Activation Maps (CAMs) using CNNs have steadily been contributing to the success of WSSS, the resulting activation maps often narrowly focus on class-specific parts (e.g., only face of human). On the other hand, recent works based on vision transformers (ViT) have shown promising results based on their self-attention mechanism to capture the semantic parts but fail in capturing complete class-specific details (e.g., entire body parts of human but also with a dog nearby). In this work, we propose Complementary Branch (CoBra), a novel dual branch framework consisting of two distinct architectures which provide valuable complementary knowledge of class (from CNN) and semantic (from ViT) to each branch. In particular, we learn Class-Aware Projection (CAP) for the CNN branch and Semantic-Aware Projection (SAP) for the ViT branch to explicitly fuse their complementary knowledge and facilitate a new type of extra patch-level supervision. Our model, through CoBra, fuses CNN and ViT’s complementary outputs to create robust pseudo masks that integrate both class and semantic information effectively. Extensive experiments qualitatively and quantitatively investigate how CNN and ViT complement each other on the PASCAL VOC 2012 dataset, showing a state-of-the-art WSSS result. This includes not only the masks generated by our model, but also the segmentation results derived from utilizing these masks as pseudo labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google