All-pairs Consistency Learning for Weakly Supervised Semantic Segmentation

要約

この研究では、弱教師セマンティック セグメンテーション (WSSS) のオブジェクトをより適切に位置特定するための新しいトランスフォーマー ベースの正則化を提案します。
画像レベルの WSSS では、オブジェクトの位置特定を擬似セグメンテーション ラベルとして生成するためにクラス アクティベーション マップ (CAM) が採用されています。
CAM の部分的なアクティベーションの問題に対処するために、一貫性正則化を使用して、さまざまな画像拡張全体にわたってアクティベーション強度の不変性を維持します。
ただし、このような方法では、コンテキストをキャプチャし、画像ビュー全体で不変である必要がある各 CAM 内の領域間のペア関係を無視します。
この目的を達成するために、新しい全ペア整合性正則化 (ACR) を提案します。
1 対の拡張ビューが与えられた場合、私たちのアプローチは、1 対の拡張ビュー間の活性化強度を正規化すると同時に、各ビュー内の領域間の親和性が一貫したままであることを保証します。
自己注意メカニズムにはペアワイズ親和性が自然に組み込まれているため、ビジョントランスフォーマーを採用します。
これにより、拡張画像ペアのアテンション マトリックス間の距離を簡単に正規化することができます。
さらに、クラス トークンの勾配を利用する新しいクラス単位のローカリゼーション方法を導入します。
私たちの手法は、アーキテクチャを変更することなく、トランスフォーマーを使用して既存の WSSS 手法にシームレスに統合できます。
PASCAL VOC および MS COCO データセットでメソッドを評価します。
私たちの方法は、著しく優れたクラス ローカリゼーション マップ (PASCAL VOC トレインで 67.3% mIoU) を生成し、優れた WSSS パフォーマンスをもたらします。

要約(オリジナル)

In this work, we propose a new transformer-based regularization to better localize objects for Weakly supervised semantic segmentation (WSSS). In image-level WSSS, Class Activation Map (CAM) is adopted to generate object localization as pseudo segmentation labels. To address the partial activation issue of the CAMs, consistency regularization is employed to maintain activation intensity invariance across various image augmentations. However, such methods ignore pair-wise relations among regions within each CAM, which capture context and should also be invariant across image views. To this end, we propose a new all-pairs consistency regularization (ACR). Given a pair of augmented views, our approach regularizes the activation intensities between a pair of augmented views, while also ensuring that the affinity across regions within each view remains consistent. We adopt vision transformers as the self-attention mechanism naturally embeds pair-wise affinity. This enables us to simply regularize the distance between the attention matrices of augmented image pairs. Additionally, we introduce a novel class-wise localization method that leverages the gradients of the class token. Our method can be seamlessly integrated into existing WSSS methods using transformers without modifying the architectures. We evaluate our method on PASCAL VOC and MS COCO datasets. Our method produces noticeably better class localization maps (67.3% mIoU on PASCAL VOC train), resulting in superior WSSS performances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google