Minimizing Occlusion Effect on Multi-View Camera Perception in BEV with Multi-Sensor Fusion

要約

自動運転技術は急速に進化しており、より安全で効率的な輸送の可能性をもたらしています。
ただし、汚れ、ほこり、雨、霧などの環境要因によるセンサーの閉塞によって、これらのシステムのパフォーマンスが大幅に低下する可能性があります。
これらのオクルージョンは、物体検出、車両のセグメンテーション、車線認識などの視覚ベースのタスクに重大な影響を与えます。
この論文では、nuScenes データセットのマルチビュー カメラ画像から鳥瞰図 (BEV) ドメインにその影響を投影することにより、カメラ センサーに対するさまざまな種類のオクルージョンの影響を調査します。
このアプローチにより、オクルージョンがどのように空間的に分布し、BEV ドメイン内の車両セグメンテーションの精度に影響を与えるかを分析できます。
センサー技術とマルチセンサーフュージョンの大幅な進歩にもかかわらず、BEVベースの知覚システムに対するカメラオクルージョンの具体的な影響に関しては、既存の文献にギャップが残っています。
このギャップに対処するために、LiDAR とレーダー センサーのデータを統合するマルチセンサー フュージョン技術を使用して、遮られたカメラによって引き起こされるパフォーマンスの低下を軽減します。
私たちの調査結果は、このアプローチが車両セグメンテーション タスクの精度と堅牢性を大幅に向上させ、より信頼性の高い自動運転システムにつながることを示しています。

要約(オリジナル)

Autonomous driving technology is rapidly evolving, offering the potential for safer and more efficient transportation. However, the performance of these systems can be significantly compromised by the occlusion on sensors due to environmental factors like dirt, dust, rain, and fog. These occlusions severely affect vision-based tasks such as object detection, vehicle segmentation, and lane recognition. In this paper, we investigate the impact of various kinds of occlusions on camera sensor by projecting their effects from multi-view camera images of the nuScenes dataset into the Bird’s-Eye View (BEV) domain. This approach allows us to analyze how occlusions spatially distribute and influence vehicle segmentation accuracy within the BEV domain. Despite significant advances in sensor technology and multi-sensor fusion, a gap remains in the existing literature regarding the specific effects of camera occlusions on BEV-based perception systems. To address this gap, we use a multi-sensor fusion technique that integrates LiDAR and radar sensor data to mitigate the performance degradation caused by occluded cameras. Our findings demonstrate that this approach significantly enhances the accuracy and robustness of vehicle segmentation tasks, leading to more reliable autonomous driving systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google