Importance Sampling CAMs for Weakly-Supervised Segmentation

要約

タイトル：弱教師付きセグメンテーションのための重要サンプリングCAM

要約：
– 分類ネットワークは、クラス活性化マップ（CAM）を用いることで画像内のオブジェクトをローカライズおよびセグメンテーションするために使用できます。
– ピクセルレベルの注釈がない場合、分類ネットワークは主に識別領域に焦点を当て、定義された予測輪郭のない拡散したCAMを生成するとされています。
– 本研究では、CAM学習を改善するための2つの貢献を提供し、これらの問題をアプローチします。
– 第1に、CAMによって誘導されるクラスごとの確率質量関数に基づく重要サンプリングを組み込んで、確率論的な画像レベルのクラス予測を生成します。これにより、オブジェクトのより大きな範囲で活性化するCAMが生成されます。
– 第2に、予測輪郭を画像のエッジに一致させることを目的とする特徴類似性損失項を定式化します。
– 第3に、PASCAL VOC 2012ベンチマークデータセットでの実験を行い、これらの変更が輪郭精度の観点で性能を大幅に向上させることを示し、領域類似性の観点では現在の最先端の方法に比較して匹敵することを示します。

要約(オリジナル)

Classification networks can be used to localize and segment objects in images by means of class activation maps (CAMs). However, without pixel-level annotations, classification networks are known to (1) mainly focus on discriminative regions, and (2) to produce diffuse CAMs without well-defined prediction contours. In this work, we approach both problems with two contributions for improving CAM learning. First, we incorporate importance sampling based on the class-wise probability mass function induced by the CAMs to produce stochastic image-level class predictions. This results in CAMs which activate over a larger extent of objects. Second, we formulate a feature similarity loss term which aims to match the prediction contours with edges in the image. As a third contribution, we conduct experiments on the PASCAL VOC 2012 benchmark dataset to demonstrate that these modifications significantly increase the performance in terms of contour accuracy, while being comparable to current state-of-the-art methods in terms of region similarity.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI