Addressing Data Misalignment in Image-LiDAR Fusion on Point Cloud Segmentation

要約

高度なマルチセンサー融合モデルの出現により、自動運転における知覚タスクのパフォーマンスが著しく向上しました。
こうした進歩にもかかわらず、特にカメラと LiDAR センサーからのデータの融合においては課題が残っています。
重大な懸念は、これらの異種センサーからのデータを正確に調整することです。
私たちの観察は、LiDAR ポイントの投影位置が対応する画像上でずれていることが多いことを示しています。
さらに、融合モデルは、これらの位置ずれした点を正確にセグメント化するのに苦労しているようです。
このペーパーでは、nuScenes データセットと融合モデル 2DPASS の SOTA に特に焦点を当てて、この問題に慎重に取り組み、考えられる解決策や改善の可能性を提供したいと思います。

要約(オリジナル)

With the advent of advanced multi-sensor fusion models, there has been a notable enhancement in the performance of perception tasks within in terms of autonomous driving. Despite these advancements, the challenges persist, particularly in the fusion of data from cameras and LiDAR sensors. A critial concern is the accurate alignment of data from these disparate sensors. Our observations indicate that the projected positions of LiDAR points often misalign on the corresponding image. Furthermore, fusion models appear to struggle in accurately segmenting these misaligned points. In this paper, we would like to address this problem carefully, with a specific focus on the nuScenes dataset and the SOTA of fusion models 2DPASS, and providing the possible solutions or potential improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google