Weakly Supervised Semantic Segmentation via Progressive Patch Learning

要約

イメージ レベルのクラス ラベルを監督として使用する既存のセマンティック セグメンテーション アプローチのほとんどは、標準分類ネットワークから生成される初期クラス アクティベーション マップ (CAM) に大きく依存しています。
この論文では、分類の局所的な詳細抽出を改善するために、新しい「プログレッシブパッチ学習」アプローチが提案され、従来の分類モデルで得られたCAMのように最も識別力のある領域のみではなく、オブジェクト全体をより適切にカバーするCAMを生成します。
「パッチ学習」は、特徴マップをパッチに分解し、最終的な集約の前に各ローカル パッチを並行して個別に処理します。
このようなメカニズムにより、ネットワークは分散した識別可能なローカル パーツから弱い情報を見つけるようになり、ローカルの詳細感度が向上します。
「プログレッシブ パッチ学習」は、特徴の破壊とパッチ学習を段階的な方法でマルチレベルの粒度にさらに拡張します。
「プログレッシブ パッチ学習」メカニズムなどの多段階最適化戦略と連携することで、さまざまな局所粒度にわたる特徴抽出機能をモデルに暗黙的に提供します。
暗黙的なマルチグラニュラリティ プログレッシブ フュージョン アプローチの代替として、1 つのモデルで異なるグラニュラリティのフィーチャを同時に融合する明示的な方法をさらに提案し、オブジェクト カバレッジ全体で CAM 品質をさらに向上させます。
私たちが提案した方法は、PASCAL VOC 2012 データセットで優れたパフォーマンスを達成します (例: テスト セットで 69.6$% mIoU)。
コードは https://github.com/TyroneLi/PPL_WSSS で公開されます。

要約(オリジナル)

Most of the existing semantic segmentation approaches with image-level class labels as supervision, highly rely on the initial class activation map (CAM) generated from the standard classification network. In this paper, a novel ‘Progressive Patch Learning’ approach is proposed to improve the local details extraction of the classification, producing the CAM better covering the whole object rather than only the most discriminative regions as in CAMs obtained in conventional classification models. ‘Patch Learning’ destructs the feature maps into patches and independently processes each local patch in parallel before the final aggregation. Such a mechanism enforces the network to find weak information from the scattered discriminative local parts, achieving enhanced local details sensitivity. ‘Progressive Patch Learning’ further extends the feature destruction and patch learning to multi-level granularities in a progressive manner. Cooperating with a multi-stage optimization strategy, such a ‘Progressive Patch Learning’ mechanism implicitly provides the model with the feature extraction ability across different locality-granularities. As an alternative to the implicit multi-granularity progressive fusion approach, we additionally propose an explicit method to simultaneously fuse features from different granularities in a single model, further enhancing the CAM quality on the full object coverage. Our proposed method achieves outstanding performance on the PASCAL VOC 2012 dataset e.g., with 69.6$% mIoU on the test set), which surpasses most existing weakly supervised semantic segmentation methods. Code will be made publicly available here https://github.com/TyroneLi/PPL_WSSS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google