Better Call SAL: Towards Learning to Segment Anything in Lidar

要約

我々は、Lidar 内の任意のオブジェクトをセグメント化して分類するためのテキスト プロンプト可能なゼロショット モデルと、手動による監視なしでモデルのトレーニングを容易にする疑似ラベル付けエンジンで構成される SAL (Segment Anything in Lidar) メソッドを提案します。
Lidar パノプティック セグメンテーション (LPS) の確立されたパラダイムは、アプリオリに定義された少数のオブジェクト クラスに対する手動監視に依存していますが、当社では 2D ビジョン基盤モデルを利用して「無料」で 3D 監視を生成します。
私たちの擬似ラベルはインスタンス マスクと対応する CLIP トークンで構成されており、調整されたマルチモーダル データを使用して Lidar にリフトされます。
これらのラベルに基づいてモデルをトレーニングすることにより、2D 基礎モデルを Lidar SAL モデルに抽出します。
手動ラベルがなくても、私たちのモデルは、クラスに依存しないセグメンテーションに関しては $91\%$、完全に監視された最先端のゼロショット Lidar パノプティック セグメンテーションに関しては $54\%$ を達成しています。
さらに、画像の特徴を抽出せずに 3D に持ち上げるだけのいくつかのベースラインよりも優れたパフォーマンスを示します。
さらに重要なのは、SAL が任意のクラス プロンプトをサポートし、新しいデータセットに簡単に拡張でき、自己ラベル付きデータの量が増加するにつれて改善できる大きな可能性を示していることを示しています。
コードとモデルは、$\href{https://github.com/nv-dvl/segment-anything-lidar}{URL}$ で入手できます。

要約(オリジナル)

We propose the SAL (Segment Anything in Lidar) method consisting of a text-promptable zero-shot model for segmenting and classifying any object in Lidar, and a pseudo-labeling engine that facilitates model training without manual supervision. While the established paradigm for Lidar Panoptic Segmentation (LPS) relies on manual supervision for a handful of object classes defined a priori, we utilize 2D vision foundation models to generate 3D supervision “for free”. Our pseudo-labels consist of instance masks and corresponding CLIP tokens, which we lift to Lidar using calibrated multi-modal data. By training our model on these labels, we distill the 2D foundation models into our Lidar SAL model. Even without manual labels, our model achieves $91\%$ in terms of class-agnostic segmentation and $54\%$ in terms of zero-shot Lidar Panoptic Segmentation of the fully supervised state-of-the-art. Furthermore, we outperform several baselines that do not distill but only lift image features to 3D. More importantly, we demonstrate that SAL supports arbitrary class prompts, can be easily extended to new datasets, and shows significant potential to improve with increasing amounts of self-labeled data. Code and models are available at this $\href{https://github.com/nv-dvl/segment-anything-lidar}{URL}$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google