USAGE: A Unified Seed Area Generation Paradigm for Weakly Supervised Semantic Segmentation

要約

通常、シード領域の生成は、弱教師セマンティック セグメンテーション (WSSS) の開始点です。
マルチラベル分類ネットワークからクラス アクティベーション マップ (CAM) を計算することは、シード領域生成の事実上のパラダイムですが、畳み込みニューラル ネットワーク (CNN) とトランスフォーマーから生成された CAM は、それぞれ活性化が不十分および過剰になる傾向があります。
そのため、CNN 用に CAM を改良する戦略は通常、Transformer には不適切であり、その逆も同様です。
この論文では、両方のタイプのネットワークに対するシード エリア GEneration (USAGE) の統合最適化パラダイムを提案します。このパラダイムでは、最適化される目的関数は 2 つの項で構成されます。1 つは生成損失で、シード エリアの形状を制御します。
さまざまな種類のネットワークの決定論的原理に従った温度パラメータ。
もう 1 つは正則化損失です。これは、異なるビューからの自己適応ネットワーク調整によって生成されたシード エリア間の一貫性を確保し、シード エリアでの誤ったアクティブ化を覆します。
実験結果は、USAGE が CNN とトランスフォーマーの両方のシード領域生成を一貫して大幅に改善することを示しています。たとえば、PASCAL VOC では 4.1% の mIoU で最先端の方法を上回っています。
さらに、USAGE によって生成された Transformers のシード領域に基づいて、PASCAL VOC と MS COCO の両方で最先端の WSSS 結果を達成しました。

要約(オリジナル)

Seed area generation is usually the starting point of weakly supervised semantic segmentation (WSSS). Computing the Class Activation Map (CAM) from a multi-label classification network is the de facto paradigm for seed area generation, but CAMs generated from Convolutional Neural Networks (CNNs) and Transformers are prone to be under- and over-activated, respectively, which makes the strategies to refine CAMs for CNNs usually inappropriate for Transformers, and vice versa. In this paper, we propose a Unified optimization paradigm for Seed Area GEneration (USAGE) for both types of networks, in which the objective function to be optimized consists of two terms: One is a generation loss, which controls the shape of seed areas by a temperature parameter following a deterministic principle for different types of networks; The other is a regularization loss, which ensures the consistency between the seed areas that are generated by self-adaptive network adjustment from different views, to overturn false activation in seed areas. Experimental results show that USAGE consistently improves seed area generation for both CNNs and Transformers by large margins, e.g., outperforming state-of-the-art methods by a mIoU of 4.1% on PASCAL VOC. Moreover, based on the USAGE-generated seed areas on Transformers, we achieve state-of-the-art WSSS results on both PASCAL VOC and MS COCO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google