High-fidelity Pseudo-labels for Boosting Weakly-Supervised Segmentation

要約

【タイトル】弱監督セグメンテーションの精度向上のための高精度な擬似ラベル

【要約】
– 弱監督セグメンテーション(WSSS)は、セグメンテーションモデルのトレーニングにおけるデータ注釈のコストを削減するために、近年人気が高まっている。
– WSSSの典型的なアプローチは、畳み込み特徴マップ上のグローバル平均プーリング(GAP)を使用したイメージ分類ネットワークのトレーニングを行うことである。
– これにより、画像領域の重要性を特定するクラス活性マップ(CAM)を利用して、オブジェクトの位置を推定できる。
– CAMを使用してセグメンテーションマスクとして擬似ラベルを生成し、ピクセル単位のグラウンドトゥルースが存在しない場合にセグメンテーションモデルを監視する。
– 以前の研究では、SEAMベースラインでは、2つの方法でCAM学習を改善することが提案されている。1つめはGAPの代替としての重要性サンプリングである。2つめは、オブジェクトの輪郭はほとんど画像の色エッジと一致するというヒューリスティックを利用した特徴類似度損失である。
– この研究では、これらの技術のためのCAMの異なる確率的解釈を提案し、多項式事後分布よりも尤度が適切であることを導き出した。
– その結果、以前のWSSS法に必要な拡張手法を提供し、実装されたすべての最新のベースラインの領域の類似性と輪郭品質を改善することができることが示された。
– PASCAL VOCデータセットを用いて、様々なベースラインで実験を行い、MS COCOデータセットにおいてもスケールの大きい環境で性能向上が可能であることを示した。提案手法のコードはhttps://github.com/arvijj/hfplで利用可能である。

要約(オリジナル)

The task of image-level weakly-supervised semantic segmentation (WSSS) has gained popularity in recent years, as it reduces the vast data annotation cost for training segmentation models. The typical approach for WSSS involves training an image classification network using global average pooling (GAP) on convolutional feature maps. This enables the estimation of object locations based on class activation maps (CAMs), which identify the importance of image regions. The CAMs are then used to generate pseudo-labels, in the form of segmentation masks, to supervise a segmentation model in the absence of pixel-level ground truth. In case of the SEAM baseline, a previous work proposed to improve CAM learning in two ways: (1) Importance sampling, which is a substitute for GAP, and (2) the feature similarity loss, which utilizes a heuristic that object contours almost exclusively align with color edges in images. In this work, we propose a different probabilistic interpretation of CAMs for these techniques, rendering the likelihood more appropriate than the multinomial posterior. As a result, we propose an add-on method that can boost essentially any previous WSSS method, improving both the region similarity and contour quality of all implemented state-of-the-art baselines. This is demonstrated on a wide variety of baselines on the PASCAL VOC dataset. Experiments on the MS COCO dataset show that performance gains can also be achieved in a large-scale setting. Our code is available at https://github.com/arvijj/hfpl.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI