Towards a Robust Sensor Fusion Step for 3D Object Detection on Corrupted Data

要約

3D 物体検出のためのマルチモーダル センサー フュージョン手法は、自動運転研究分野に革命をもたらしています。
それにもかかわらず、これらの方法のほとんどは、高密度の LiDAR データと正確に調整されたセンサーに大きく依存していますが、現実のシナリオでは当てはまらないことがよくあります。
LiDAR とカメラからのデータは、センサーのキャリブレーションミス、デキャリブレーション、または周波数の違いにより、ずれが生じることがよくあります。
さらに、ハードウェアの故障や気象条件により、LiDAR データの一部が遮られたり、データの一部が欠落したりする可能性があります。
この研究では、データ破損に対処し、3D オブジェクト検出のためのセンサー フュージョンをより堅牢にする新しいフュージョン ステップを提示します。
広範な実験を通じて、私たちの手法は通常のデータでは最先端のアプローチと同等のパフォーマンスを発揮し、位置がずれているデータではそれを上回るパフォーマンスを発揮することを実証しました。

要約(オリジナル)

Multimodal sensor fusion methods for 3D object detection have been revolutionizing the autonomous driving research field. Nevertheless, most of these methods heavily rely on dense LiDAR data and accurately calibrated sensors which is often not the case in real-world scenarios. Data from LiDAR and cameras often come misaligned due to the miscalibration, decalibration, or different frequencies of the sensors. Additionally, some parts of the LiDAR data may be occluded and parts of the data may be missing due to hardware malfunction or weather conditions. This work presents a novel fusion step that addresses data corruptions and makes sensor fusion for 3D object detection more robust. Through extensive experiments, we demonstrate that our method performs on par with state-of-the-art approaches on normal data and outperforms them on misaligned data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google