A Good Foundation is Worth Many Labels: Label-Efficient Panoptic Segmentation

要約

ロボットの知覚に学習ベースのモデルを広く適用するための重要な課題は、正確な予測を達成しながら、必要な注釈付き学習データ量を大幅に削減することである。これは、運用コストを削減するだけでなく、展開時間を短縮するためにも不可欠である。本研究では、PASTEL（PAnoptic SegmenTation with fEw Labels）のために、視覚的基礎モデルによって開拓された基礎を利用することで、この課題に取り組む。このようなモデルから得られる記述的な画像特徴を活用し、非常に少ない注釈付き訓練サンプルを用いて、意味的セグメンテーションと物体境界検出のための2つの軽量ネットワークヘッドを訓練する。次に、正規化されたカットに基づく汎化マップを生成する新しい融合モジュールを介して、両者の予測を融合する。さらに性能を向上させるために、特徴駆動型類似性スキームによって選択されたラベル無し画像に対する自己学習を利用する。我々は、PASTELを自律走行や農業ロボットなどの重要なロボット知覚のユースケースに用いることで、我々のアプローチの妥当性を強調する。広範な実験において、PASTELは、少ない注釈を用いた場合でも、ラベル効率的なセグメンテーションにおいて従来の手法を大幅に上回ることを実証する。我々の研究のコードは、http://pastel.cs.uni-freiburg.de で公開されている。

要約(オリジナル)

A key challenge for the widespread application of learning-based models for robotic perception is to significantly reduce the required amount of annotated training data while achieving accurate predictions. This is essential not only to decrease operating costs but also to speed up deployment time. In this work, we address this challenge for PAnoptic SegmenTation with fEw Labels (PASTEL) by exploiting the groundwork paved by visual foundation models. We leverage descriptive image features from such a model to train two lightweight network heads for semantic segmentation and object boundary detection, using very few annotated training samples. We then merge their predictions via a novel fusion module that yields panoptic maps based on normalized cut. To further enhance the performance, we utilize self-training on unlabeled images selected by a feature-driven similarity scheme. We underline the relevance of our approach by employing PASTEL to important robot perception use cases from autonomous driving and agricultural robotics. In extensive experiments, we demonstrate that PASTEL significantly outperforms previous methods for label-efficient segmentation even when using fewer annotations. The code of our work is publicly available at http://pastel.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL