Few-Shot Panoptic Segmentation With Foundation Models

要約

パノプティックセグメンテーションのための現在の最先端の手法は、膨大な量の注釈付き学習データを必要とし、その入手は困難であり、また高価であるため、その普及には大きな課題となっている。同時に、視覚表現学習における最近の飛躍的な進歩は、完全にラベル付けされていない画像で学習できる大規模な基礎モデルの出現につながるパラダイムシフトを巻き起こしている。本研究では、このようなタスクにとらわれない画像特徴を活用し、Segmenting Panoptic Information with Nearly 0 labels (SPINO)を提示することで、少数ショットの汎光画像分割を可能にすることを提案する。詳細には、我々の手法は、DINOv2バックボーンと、セマンティックセグメンテーションと境界推定のための軽量ネットワークヘッドを組み合わせる。わずか10枚の注釈付き画像で訓練されたとはいえ、我々のアプローチが、既存のどの汎光画像分割手法でも使用可能な高品質の擬似ラベルを予測することを示す。注目すべきは、SPINOが、グランドトゥルースラベルの0.3%未満を使用しながら、完全教師ありベースラインと比較して競争力のある結果を達成し、基礎モデルを活用した複雑な視覚認識タスクの学習に道を開くことを実証する。さらに、SPINOの一般的な適用可能性を示すために、屋外と屋内の両方の環境における実際のロボットビジョンシステムにSPINOを導入した。将来の研究を促進するため、コードと学習済みモデルを http://spino.cs.uni-freiburg.de で公開している。

要約(オリジナル)

Current state-of-the-art methods for panoptic segmentation require an immense amount of annotated training data that is both arduous and expensive to obtain posing a significant challenge for their widespread adoption. Concurrently, recent breakthroughs in visual representation learning have sparked a paradigm shift leading to the advent of large foundation models that can be trained with completely unlabeled images. In this work, we propose to leverage such task-agnostic image features to enable few-shot panoptic segmentation by presenting Segmenting Panoptic Information with Nearly 0 labels (SPINO). In detail, our method combines a DINOv2 backbone with lightweight network heads for semantic segmentation and boundary estimation. We show that our approach, albeit being trained with only ten annotated images, predicts high-quality pseudo-labels that can be used with any existing panoptic segmentation method. Notably, we demonstrate that SPINO achieves competitive results compared to fully supervised baselines while using less than 0.3% of the ground truth labels, paving the way for learning complex visual recognition tasks leveraging foundation models. To illustrate its general applicability, we further deploy SPINO on real-world robotic vision systems for both outdoor and indoor environments. To foster future research, we make the code and trained models publicly available at http://spino.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL