LargeAD: Large-Scale Cross-Sensor Data Pretraining for Autonomous Driving

要約

ビジョン基盤モデル (VFM) の最近の進歩により、2D の視覚認識に革命が起きましたが、特に自動運転アプリケーションにおける 3D シーンの理解の可能性は依然として十分に解明されていません。
このペーパーでは、現実世界の多様な運転データセットにわたる大規模な 3D 事前トレーニング用に設計された、多用途でスケーラブルなフレームワークである LargeAD を紹介します。
当社のフレームワークは、VFM を活用して 2D 画像から意味論的に豊富なスーパーピクセルを抽出し、LiDAR 点群と位置合わせして高品質のコントラスト サンプルを生成します。
この調整により、クロスモーダル表現の学習が容易になり、2D データと 3D データの間の意味の一貫性が強化されます。
i) 詳細なセマンティック表現のための VFM 駆動のスーパーピクセル生成、ii) マルチモーダルな特徴を調整するための VFM 支援の対比学習戦略、iii) 経時的に安定した表現を維持するためのスーパーポイントの時間的一貫性、および iv) マルチソース
さまざまな LiDAR 構成にわたって一般化するためのデータの事前トレーニング。
当社のアプローチは、LiDAR ベースのセグメンテーションと物体検出の両方に対する線形プローブと微調整タスクの両方において、最先端の方法と比較してパフォーマンスを大幅に向上させます。
11 の大規模マルチモーダル データセットに対する広範な実験により、当社の優れたパフォーマンスが強調され、現実世界の自動運転シナリオにおける適応性、効率性、堅牢性が実証されました。

要約(オリジナル)

Recent advancements in vision foundation models (VFMs) have revolutionized visual perception in 2D, yet their potential for 3D scene understanding, particularly in autonomous driving applications, remains underexplored. In this paper, we introduce LargeAD, a versatile and scalable framework designed for large-scale 3D pretraining across diverse real-world driving datasets. Our framework leverages VFMs to extract semantically rich superpixels from 2D images, which are aligned with LiDAR point clouds to generate high-quality contrastive samples. This alignment facilitates cross-modal representation learning, enhancing the semantic consistency between 2D and 3D data. We introduce several key innovations: i) VFM-driven superpixel generation for detailed semantic representation, ii) a VFM-assisted contrastive learning strategy to align multimodal features, iii) superpoint temporal consistency to maintain stable representations across time, and iv) multi-source data pretraining to generalize across various LiDAR configurations. Our approach delivers significant performance improvements over state-of-the-art methods in both linear probing and fine-tuning tasks for both LiDAR-based segmentation and object detection. Extensive experiments on eleven large-scale multi-modal datasets highlight our superior performance, demonstrating the adaptability, efficiency, and robustness in real-world autonomous driving scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google