Few-Shot Panoptic Segmentation With Foundation Models

要約

パノプティック セグメンテーションの現在の最先端の方法では、膨大な量の注釈付きトレーニング データが必要であり、取得するのが困難で費用もかかるため、広く普及するには大きな課題となっています。
同時に、視覚表現学習における最近の画期的な進歩によりパラダイム シフトが引き起こされ、完全にラベルのない画像でトレーニングできる大規模な基礎モデルの出現につながりました。
この研究では、このようなタスクに依存しない画像の特徴を活用して、ほぼ 0 のラベルを持つパノラマ情報のセグメント化 (SPINO) を提示することにより、少数ショットのパノプティック セグメンテーションを可能にすることを提案します。
詳細には、私たちの方法は、DINOv2 バックボーンと軽量ネットワーク ヘッドを組み合わせて、セマンティック セグメンテーションと境界推定を行います。
私たちのアプローチは、わずか 10 枚の注釈付き画像でトレーニングされているにもかかわらず、既存のパノプティック セグメンテーション手法で使用できる高品質の疑似ラベルを予測できることを示します。
特に、SPINO は、グラウンド トゥルース ラベルの 0.3% 未満を使用しながら、完全に監視されたベースラインと比較して競争力のある結果を達成し、基礎モデルを活用して複雑な視覚認識タスクを学習するための道を開くことを実証しました。
その一般的な適用性を説明するために、屋外と屋内の両方の環境用の実世界のロボット ビジョン システムに SPINO をさらに展開します。
将来の研究を促進するために、コードとトレーニング済みモデルを http://spino.cs.uni-freiburg.de で公開します。

要約(オリジナル)

Current state-of-the-art methods for panoptic segmentation require an immense amount of annotated training data that is both arduous and expensive to obtain posing a significant challenge for their widespread adoption. Concurrently, recent breakthroughs in visual representation learning have sparked a paradigm shift leading to the advent of large foundation models that can be trained with completely unlabeled images. In this work, we propose to leverage such task-agnostic image features to enable few-shot panoptic segmentation by presenting Segmenting Panoptic Information with Nearly 0 labels (SPINO). In detail, our method combines a DINOv2 backbone with lightweight network heads for semantic segmentation and boundary estimation. We show that our approach, albeit being trained with only ten annotated images, predicts high-quality pseudo-labels that can be used with any existing panoptic segmentation method. Notably, we demonstrate that SPINO achieves competitive results compared to fully supervised baselines while using less than 0.3% of the ground truth labels, paving the way for learning complex visual recognition tasks leveraging foundation models. To illustrate its general applicability, we further deploy SPINO on real-world robotic vision systems for both outdoor and indoor environments. To foster future research, we make the code and trained models publicly available at http://spino.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google