ISIM: Iterative Self-Improved Model for Weakly Supervised Segmentation

要約

弱教師ありセマンティック セグメンテーション (WSSS) は、クラス レベルのラベルからセグメンテーション ラベルを学習することを目的とした挑戦的なタスクです。
文献では、クラス アクティベーション マップ (CAM) から取得した情報を活用することは、WSSS 研究に広く使用されています。
ただし、CAM は分類ネットワークから取得されるため、オブジェクトの最も識別力の高い部分に関心があり、セグメンテーション タスクの完全ではない事前情報が生成されます。
この研究では、セグメンテーション ラベルを使用してよりコヒーレントな CAM を取得するために、修正されたエンコーダー デコーダー ベースのセグメンテーション モデルで反復アプローチを採用するフレームワークを提案します。これは、分類タスクとセグメンテーション タスクを同時にサポートします。
グラウンド トゥルース セグメンテーション ラベルが指定されていないため、同じモデルが密な条件付きランダム フィールド (dCRF) を使用して疑似セグメンテーション ラベルも生成します。
その結果、提案されたフレームワークは反復的な自己改善モデルになります。
DeepLabv3 および UNet モデルを使用して実行された実験では、Pascal VOC12 データセットで大幅な向上が見られ、DeepLabv3 アプリケーションは現在の最先端のメトリックを \%2.5 増加させます。
実験に関連する実装は、https://github.com/cenkbircanoglu/isim で見つけることができます。

要約(オリジナル)

Weakly Supervised Semantic Segmentation (WSSS) is a challenging task aiming to learn the segmentation labels from class-level labels. In the literature, exploiting the information obtained from Class Activation Maps (CAMs) is widely used for WSSS studies. However, as CAMs are obtained from a classification network, they are interested in the most discriminative parts of the objects, producing non-complete prior information for segmentation tasks. In this study, to obtain more coherent CAMs with segmentation labels, we propose a framework that employs an iterative approach in a modified encoder-decoder-based segmentation model, which simultaneously supports classification and segmentation tasks. As no ground-truth segmentation labels are given, the same model also generates the pseudo-segmentation labels with the help of dense Conditional Random Fields (dCRF). As a result, the proposed framework becomes an iterative self-improved model. The experiments performed with DeepLabv3 and UNet models show a significant gain on the Pascal VOC12 dataset, and the DeepLabv3 application increases the current state-of-the-art metric by \%2.5. The implementation associated with the experiments can be found: https://github.com/cenkbircanoglu/isim.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google