Unsupervised Semantic Segmentation with Self-supervised Object-centric Representations

要約

この論文では、教師あり特徴学習の最近の進歩により、教師なしオブジェクトの発見と、10年前の教師ありセグメンテーションのフィールドの状態と一致するパフォーマンスでの教師ありセグメンテーションが可能になることを示します。
教師なし顕著性マスクと自己監視機能クラスタリングに基づく方法論を提案して、オブジェクトの発見を開始し、続いて疑似ラベルでセマンティックセグメンテーションネットワークをトレーニングして、複数のオブジェクトを含む画像でシステムをブートストラップします。
現在の最先端技術（47.3 mIoU）をはるかに超えるPASCAL VOCの結果を提示し、81クラスのセット全体のMSCOCOの結果を初めて報告します。このメソッドは$20を超える34のカテゴリを検出します\
％$ IoU、81のカテゴリすべてで19.6の平均IoUを取得します。

要約(オリジナル)

In this paper, we show that recent advances in self-supervised feature learning enable unsupervised object discovery and semantic segmentation with a performance that matches the state of the field on supervised semantic segmentation 10 years ago. We propose a methodology based on unsupervised saliency masks and self-supervised feature clustering to kickstart object discovery followed by training a semantic segmentation network on pseudo-labels to bootstrap the system on images with multiple objects. We present results on PASCAL VOC that go far beyond the current state of the art (47.3 mIoU), and we report for the first time results on MS COCO for the whole set of 81 classes: our method discovers 34 categories with more than $20\%$ IoU, while obtaining an average IoU of 19.6 for all 81 categories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google