4D-ROLLS: 4D Radar Occupancy Learning via LiDAR Supervision

要約

3Dシーンの包括的な理解は自動運転車（AVS）に不可欠であり、さまざまな知覚タスクの中で、占有可能なスペースの一般的な表現を提供することにより、占有率の推定が中心的な役割を果たします。
ただし、ほとんどの既存の占有推定方法は、煙、雨、雪、霧などの劣化した環境では、Lidarまたはカメラに依存しています。
この論文では、Lidar Point Cloudを監督信号として使用した4Dレーダーの最初の弱い監視された占有推定法である4Dロールを提案します。
具体的には、4Dレーダー占有率推定モデルを訓練するためのマルチステージの監督として、占有クエリやLIDAR高さマップを含む擬似ライダーラベルを生成する方法を紹介します。
次に、モデルはLidarによって生成された占有マップと整合し、占有推定の精度を微調整します。
広範な比較実験は、4Dロールの例外的なパフォーマンスを検証します。
劣化した環境における堅牢性とクロスダタセットトレーニングにおける有効性が定性的に実証されています。
このモデルは、下流のタスクBEVセグメンテーションとポイントクラウド占有予測にシームレスに転送され、より広範なアプリケーションの可能性を強調しています。
軽量ネットワークにより、4Dロールモデルは、4060 GPUで約30 Hzで速い推論速度を実現できます。
4Dロールのコードは、https：//github.com/class-lab/4d-rollsで利用可能になります。

要約(オリジナル)

A comprehensive understanding of 3D scenes is essential for autonomous vehicles (AVs), and among various perception tasks, occupancy estimation plays a central role by providing a general representation of drivable and occupied space. However, most existing occupancy estimation methods rely on LiDAR or cameras, which perform poorly in degraded environments such as smoke, rain, snow, and fog. In this paper, we propose 4D-ROLLS, the first weakly supervised occupancy estimation method for 4D radar using the LiDAR point cloud as the supervisory signal. Specifically, we introduce a method for generating pseudo-LiDAR labels, including occupancy queries and LiDAR height maps, as multi-stage supervision to train the 4D radar occupancy estimation model. Then the model is aligned with the occupancy map produced by LiDAR, fine-tuning its accuracy in occupancy estimation. Extensive comparative experiments validate the exceptional performance of 4D-ROLLS. Its robustness in degraded environments and effectiveness in cross-dataset training are qualitatively demonstrated. The model is also seamlessly transferred to downstream tasks BEV segmentation and point cloud occupancy prediction, highlighting its potential for broader applications. The lightweight network enables 4D-ROLLS model to achieve fast inference speeds at about 30 Hz on a 4060 GPU. The code of 4D-ROLLS will be made available at https://github.com/CLASS-Lab/4D-ROLLS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google