Masked Collaborative Contrast for Weakly Supervised Semantic Segmentation

要約

この研究では、弱く監視されたセマンティック セグメンテーションでセマンティック領域を強調表示するための効果的なアプローチ、マスクされた協調コントラスト (MCC) が導入されています。
MCC は、マスクされた画像モデリングと対照学習からインスピレーションを巧みに引き出して、キーが意味領域に向かって縮小するように誘導する新しいフレームワークを考案します。
マスクを生成するときに入力画像内のパッチ領域を直接消去する一般的な手法とは異なり、アフィニティ マトリックスのキーを考慮してマスクを探索することで、パッチ トークンの近傍関係を精査します。
さらに、マスクされたローカル出力を利用し、グローバル出力と対比することにより、対比学習で正と負のサンプルを生成します。
一般的に使用されるデータセットに対する精緻な実験により、提案された MCC メカニズムが画像内のグローバルな視点とローカルな視点を効果的に調整し、優れたパフォーマンスを達成していることが証明されました。
ソース コードは \url{https://github.com/fwu11/MCC} で入手できます。

要約(オリジナル)

This study introduces an efficacious approach, Masked Collaborative Contrast (MCC), to highlight semantic regions in weakly supervised semantic segmentation. MCC adroitly draws inspiration from masked image modeling and contrastive learning to devise a novel framework that induces keys to contract toward semantic regions. Unlike prevalent techniques that directly eradicate patch regions in the input image when generating masks, we scrutinize the neighborhood relations of patch tokens by exploring masks considering keys on the affinity matrix. Moreover, we generate positive and negative samples in contrastive learning by utilizing the masked local output and contrasting it with the global output. Elaborate experiments on commonly employed datasets evidences that the proposed MCC mechanism effectively aligns global and local perspectives within the image, attaining impressive performance. The source code is available at \url{https://github.com/fwu11/MCC}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google