Segment Anything is A Good Pseudo-label Generator for Weakly Supervised Semantic Segmentation

要約

【タイトル】セマンティックセグメンテーションの弱教師学習のための新しい擬似ラベル生成器「Segment Anything」

【要約】

– 弱教師学習を用いたセマンティックセグメンテーションは、古くからの解決の難しい問題である。
– これまでの手法は、主に擬似ラベルの品質向上に焦点を当てていた。
– この研究では、高性能でクラスを区別しない大規模セグメンテーションモデル「Segment-Anything」の「prompt to masks」機能を利用し、弱いラベルをプロンプトとしてクラスマスクを生成することを試みた。
– 生成されたクラスマスクは、セグメンテーションネットワークを訓練するための擬似ラベルを生成するために利用される。
– PASCAL VOC 2012データセットでの多岐にわたる実験を行い、Segment-Anythingがよい擬似ラベル生成器として機能することを示した。
– コードは公開される予定である。

要約(オリジナル)

Weakly supervised semantic segmentation with weak labels is a long-lived ill-posed problem. Mainstream methods mainly focus on improving the quality of pseudo labels. In this report, we attempt to explore the potential of ‘prompt to masks’ from the powerful class-agnostic large segmentation model, segment-anything. Specifically, different weak labels are used as prompts to the segment-anything model, generating precise class masks. The class masks are utilized to generate pseudo labels to train the segmentation networks. We have conducted extensive experiments on PASCAL VOC 2012 dataset. Experiments demonstrate that segment-anything can serve as a good pseudo-label generator. The code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI