SALT: A Flexible Semi-Automatic Labeling Tool for General LiDAR Point Clouds with Cross-Scene Adaptability and 4D Consistency

要約

クロスセーンの適応性と4D一貫性を備えた一般的なライダーポイント雲のための柔軟な半自動ラベリングツール（塩）を提案します。
カメラの蒸留に依存している最近のアプローチとは異なり、塩は生のライダーデータで直接動作し、自動的にセグメンテーション前の結果を生成します。
これを達成するために、Vision Foundationモデルのトレーニング分布と整合することにより、LIDARデータを擬似イメージに変換するデータアライメントと呼ばれる新しいゼロショット学習パラダイムを提案します。
さらに、SAM2を強化するために、4D無意味のプロンプト戦略と4D非最大抑制モジュールを設計し、高品質で時間的に一貫した前置換を確保します。
Saltは、Semantickittiで最新のゼロショット方法を18.4％PQで超え、新しく収集された低解像度LIDARデータと3つのLIDARタイプからの複合データで、ヒトアノテーターパフォーマンスのほぼ40〜50％を達成し、注釈効率を大幅に向上させます。
塩のオープンソーシングにより、現在のLIDARデータセットの大幅な拡張が促進され、Lidar Foundationモデルの将来の開発の基礎が築かれると予想されます。
コードはhttps://github.com/cavendish518/saltで入手できます。

要約(オリジナル)

We propose a flexible Semi-Automatic Labeling Tool (SALT) for general LiDAR point clouds with cross-scene adaptability and 4D consistency. Unlike recent approaches that rely on camera distillation, SALT operates directly on raw LiDAR data, automatically generating pre-segmentation results. To achieve this, we propose a novel zero-shot learning paradigm, termed data alignment, which transforms LiDAR data into pseudo-images by aligning with the training distribution of vision foundation models. Additionally, we design a 4D-consistent prompting strategy and 4D non-maximum suppression module to enhance SAM2, ensuring high-quality, temporally consistent presegmentation. SALT surpasses the latest zero-shot methods by 18.4% PQ on SemanticKITTI and achieves nearly 40-50% of human annotator performance on our newly collected low-resolution LiDAR data and on combined data from three LiDAR types, significantly boosting annotation efficiency. We anticipate that SALT’s open-sourcing will catalyze substantial expansion of current LiDAR datasets and lay the groundwork for the future development of LiDAR foundation models. Code is available at https://github.com/Cavendish518/SALT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google