要約
カメラとLiDARはどちらも自律走行にとって重要なセンサーであり、3D物体検出において重要な役割を果たしています。カメラとLiDARのフュージョンは、ロバストで正確な運転知覚のための一般的なソリューションとなっています。クロスモーダルスキーム、ディープラーニングアルゴリズム、トレーニングトリックを通じて3Dターゲット検出のパフォーマンスをいかに向上させるかに焦点を当てた既存技術の大部分とは対照的に、我々はセンサー構成が学習ベースの手法のパフォーマンスに与える影響に注意を払う。これを達成するために、提案したセンサー知覚モデルに基づき、カメラとLiDAR評価のための統一された情報理論的サロゲートメトリックを提案する。また、CARLAシミュレータで機能する、データ取得、モデル学習、性能評価のための加速された高品質フレームワークを設計する。検出性能と我々の代用メトリクスとの相関関係を示すために、自動運転企業や研究機関から着想を得たいくつかのカメラ・LiDARの配置とパラメータを用いた実験を実施する。nuScenesデータセットにおける代表的なアルゴリズムの広範な実験結果は、我々のサロゲートメトリクスの有効性を検証し、センサ構成が点-雲-画像融合ベースの検出モデルに大きく影響し、平均精度の点で最大30％の不一致に寄与することを実証する。
要約(オリジナル)
Cameras and LiDARs are both important sensors for autonomous driving, playing critical roles in 3D object detection. Camera-LiDAR Fusion has been a prevalent solution for robust and accurate driving perception. In contrast to the vast majority of existing arts that focus on how to improve the performance of 3D target detection through cross-modal schemes, deep learning algorithms, and training tricks, we devote attention to the impact of sensor configurations on the performance of learning-based methods. To achieve this, we propose a unified information-theoretic surrogate metric for camera and LiDAR evaluation based on the proposed sensor perception model. We also design an accelerated high-quality framework for data acquisition, model training, and performance evaluation that functions with the CARLA simulator. To show the correlation between detection performance and our surrogate metrics, We conduct experiments using several camera-LiDAR placements and parameters inspired by self-driving companies and research institutions. Extensive experimental results of representative algorithms on nuScenes dataset validate the effectiveness of our surrogate metric, demonstrating that sensor configurations significantly impact point-cloud-image fusion based detection models, which contribute up to 30% discrepancy in terms of the average precision.
arxiv情報
| 著者 | Ye Li,Hanjiang Hu,Zuxin Liu,Xiaohao Xu,Xiaonan Huang,Ding Zhao |
| 発行日 | 2024-03-02 09:49:28+00:00 |
| arxivサイト | arxiv_id(pdf) |