High-fidelity Pseudo-labels for Boosting Weakly-Supervised Segmentation

要約

画像レベルの弱教師セマンティック セグメンテーション (WSSS) は、トレーニング中のサロゲート セグメンテーション マスクによって、通常は膨大なデータ アノテーション コストを削減します。
一般的なアプローチには、畳み込み特徴マップ上のグローバル平均プーリング (GAP) を使用して画像分類ネットワークをトレーニングすることが含まれます。
これにより、画像領域の重要性を識別するクラス アクティベーション マップ (CAM) に基づいてオブジェクトの位置を推定できるようになります。
次に、CAM を使用してセグメンテーション マスクの形式で擬似ラベルを生成し、ピクセル レベルのグランド トゥルースが存在しない場合でもセグメンテーション モデルを監視します。
私たちの仕事は、CAM を改善するための 2 つの手法に基づいています。
GAP の代替となる重要度サンプリングと、オブジェクトの輪郭がほぼ常に画像内のカラー エッジと一致するというヒューリスティックを利用する特徴類似性損失です。
ただし、どちらもソフトマックスによる多項事後分布に基づいており、クラスが相互に排他的であると暗黙的に想定されており、実験では次善であることが判明しました。
したがって、複数の独立した二値問題の二項事後分布に基づいて両方の手法を再定式化します。
これには 2 つの利点があります。
パフォーマンスが向上し、より汎用的になった結果、事実上すべての WSSS メソッドを強化できるアドオン メソッドが誕生しました。
これは、PASCAL VOC データセットのさまざまなベースラインで実証されており、実装されているすべての最先端の手法の領域の類似性と輪郭の品質が向上しています。
MS COCO データセットの実験では、提案したアドオンが大規模な設定に適していることがさらに示されています。
コードの実装は https://github.com/arvijj/hfpl で入手できます。

要約(オリジナル)

Image-level weakly-supervised semantic segmentation (WSSS) reduces the usually vast data annotation cost by surrogate segmentation masks during training. The typical approach involves training an image classification network using global average pooling (GAP) on convolutional feature maps. This enables the estimation of object locations based on class activation maps (CAMs), which identify the importance of image regions. The CAMs are then used to generate pseudo-labels, in the form of segmentation masks, to supervise a segmentation model in the absence of pixel-level ground truth. Our work is based on two techniques for improving CAMs; importance sampling, which is a substitute for GAP, and the feature similarity loss, which utilizes a heuristic that object contours almost always align with color edges in images. However, both are based on the multinomial posterior with softmax, and implicitly assume that classes are mutually exclusive, which turns out suboptimal in our experiments. Thus, we reformulate both techniques based on binomial posteriors of multiple independent binary problems. This has two benefits; their performance is improved and they become more general, resulting in an add-on method that can boost virtually any WSSS method. This is demonstrated on a wide variety of baselines on the PASCAL VOC dataset, improving the region similarity and contour quality of all implemented state-of-the-art methods. Experiments on the MS COCO dataset further show that our proposed add-on is well-suited for large-scale settings. Our code implementation is available at https://github.com/arvijj/hfpl.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google