Influence of Camera-LiDAR Configuration on 3D Object Detection for Autonomous Driving

要約

カメラとLiDARはどちらも自動運転にとって重要なセンサーであり、3D物体検出に重要な役割を果たします。
Camera-LiDAR Fusion は、堅牢かつ正確な自動運転認識を実現するためのソリューションとして広く普及しています。
クロスモーダル スキーム、深層学習アルゴリズム、トレーニング トリックを通じて 3D ターゲット検出のパフォーマンスを向上させる方法に焦点を当てている既存の技術の大部分とは対照的に、私たちはセンサー構成が学習のパフォーマンスに及ぼす影響に焦点を当てています。
ベースのメソッド。
これを達成するために、提案されたセンサー知覚モデルに基づいて、カメラと LiDAR の評価のための統一情報理論代理メトリックを提案します。
また、CARLA シミュレーターで機能する、データ取得、モデル トレーニング、パフォーマンス評価のための高速化された高品質のフレームワークも設計します。
検出パフォーマンスと代替メトリクスとの相関関係を示すために、自動運転企業や研究機関からインスピレーションを得たいくつかのカメラと LiDAR の配置とパラメータを使用した実験を実施しました。
NuScenes データセット上の代表的なアルゴリズムの広範な実験結果により、サロゲート メトリックの有効性が検証され、センサー構成が点群画像融合ベースの検出モデルに大きな影響を与え、平均精度の点で最大 30% の不一致に寄与することが実証されました。

要約(オリジナル)

Cameras and LiDARs are both important sensors for autonomous driving, playing critical roles for 3D object detection. Camera-LiDAR Fusion has been a prevalent solution for robust and accurate autonomous driving perception. In contrast to the vast majority of existing arts that focus on how to improve the performance of 3D target detection through cross-modal schemes, deep learning algorithms, and training tricks, we devote attention to the impact of sensor configurations on the performance of learning-based methods. To achieve this, we propose a unified information-theoretic surrogate metric for camera and LiDAR evaluation based on the proposed sensor perception model. We also design an accelerated high-quality framework for data acquisition, model training, and performance evaluation that functions with the CARLA simulator. To show the correlation between detection performance and our surrogate metrics, We conduct experiments using several camera-LiDAR placements and parameters inspired by self-driving companies and research institutions. Extensive experimental results of representative algorithms on NuScenes dataset validate the effectiveness of our surrogate metric, demonstrating that sensor configurations significantly impact point-cloud-image fusion based detection models, which contribute up to 30% discrepancy in terms of average precision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google