Large-scale Unsupervised Semantic Segmentation

要約

ImageNetなどの大規模データセットに後押しされ、大規模データに対する教師なし学習は分類タスクの大きな進歩を可能にしてきた。しかし、大規模な教師なし意味分割が実現できるかどうかは未知数である。すなわち、i) アルゴリズムを評価するための大規模ベンチマークが必要であること、ii) 教師なし学習でカテゴリ表現と形状表現を同時に学習する手法の開発が必要であることである。本研究では、大規模教師なし意味分割(LUSS)という新しい問題を、新たに作成したベンチマークデータセットと共に提案し、研究の進展を図る。ImageNetデータセットをベースに、120万枚の学習画像と5万件の高品質な意味的セグメンテーションのアノテーションを持つImageNet-Sデータセットを提案し、評価用とする。このベンチマークは、高いデータ多様性と明確なタスクの目的を持っている。また、LUSSに対して驚くほどよく効く、シンプルかつ効果的な手法を提示する。さらに、関連する非/弱/完全教師ありの手法を適宜ベンチマークし、LUSSの課題と可能な方向性を明らかにする。ベンチマークとソースコードは、https://github.com/LUSSeg で公開されています。

要約(オリジナル)

Empowered by large datasets, e.g., ImageNet, unsupervised learning on large-scale data has enabled significant advances for classification tasks. However, whether the large-scale unsupervised semantic segmentation can be achieved remains unknown. There are two major challenges: i) we need a large-scale benchmark for assessing algorithms; ii) we need to develop methods to simultaneously learn category and shape representation in an unsupervised manner. In this work, we propose a new problem of large-scale unsupervised semantic segmentation (LUSS) with a newly created benchmark dataset to help the research progress. Building on the ImageNet dataset, we propose the ImageNet-S dataset with 1.2 million training images and 50k high-quality semantic segmentation annotations for evaluation. Our benchmark has a high data diversity and a clear task objective. We also present a simple yet effective method that works surprisingly well for LUSS. In addition, we benchmark related un/weakly/fully supervised methods accordingly, identifying the challenges and possible directions of LUSS. The benchmark and source code is publicly available at https://github.com/LUSSeg.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL