WeakTr: Exploring Plain Vision Transformer for Weakly-supervised Semantic Segmentation

要約

タイトル：WeakTr：弱い教師ありセマンティックセグメンテーションのためのPlain Vision Transformerの探求

要約：
– 本研究では、Plain Vision Transformer（ViT）の特性を、弱い教師ありセマンティックセグメンテーション（WSSS）に適用することを探究した。
– 分類ネットワークを理解し、WSSSを起動するために、クラスアクティベーションマップ（CAM）は重要である。
– ViTの異なるアテンションヘッドは、異なる画像領域にフォーカスすることが観察された。これにより、異なるアテンションヘッドの重要性をエンドツーエンドで推定するための新しいウェイトベースの方法が提案され、自己アテンションマップは適応的に融合され、高品質CAM結果が得られるようになり、完全なオブジェクトを持つことが多くなった。
– さらに、オンラインリトレーニング用のViTベースのグラデーションクリッピングデコーダーが提案され、CAM結果を用いたWSSSタスクの完了が可能になった。
– このプレーンTransformerベースの弱い教師あり学習フレームワークは、標準的なベンチマークで最新のWSSS性能を達成しており、すなわち、PASCAL VOC 2012のvalセットで78.4％のmIoU、COCO 2014のvalセットで50.3％のmIoUを達成している。
– コードはhttps://github.com/hustvl/WeakTrで利用可能である。

要約(オリジナル)

This paper explores the properties of the plain Vision Transformer (ViT) for Weakly-supervised Semantic Segmentation (WSSS). The class activation map (CAM) is of critical importance for understanding a classification network and launching WSSS. We observe that different attention heads of ViT focus on different image areas. Thus a novel weight-based method is proposed to end-to-end estimate the importance of attention heads, while the self-attention maps are adaptively fused for high-quality CAM results that tend to have more complete objects. Besides, we propose a ViT-based gradient clipping decoder for online retraining with the CAM results to complete the WSSS task. We name this plain Transformer-based Weakly-supervised learning framework WeakTr. It achieves the state-of-the-art WSSS performance on standard benchmarks, i.e., 78.4% mIoU on the val set of PASCAL VOC 2012 and 50.3% mIoU on the val set of COCO 2014. Code is available at https://github.com/hustvl/WeakTr.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI