Radar-Camera Fusion for Object Detection and Semantic Segmentation in Autonomous Driving: A Comprehensive Review

要約

自動運転における認識技術は、深層学習技術によって近年急速に発展しており、車両が周囲の環境を正確に検出して解釈し、安全で効率的なナビゲーションを実現できるようになりました。
正確で堅牢な認識機能を実現するために、自動運転車には複数のセンサーが搭載されることが多く、センサー フュージョンが認識システムの重要な部分となっています。
これらの融合センサーのうち、レーダーとカメラは、照明や気象条件に関係なく、補完的かつコスト効率の高い周囲環境の認識を可能にします。
このレビューは、レーダーとカメラの融合に関する包括的なガイドラインを提供することを目的としています。特に、物体検出とセマンティック セグメンテーションに関連する認識タスクに焦点を当てています。レーダーとカメラ センサーの原理に基づいて、データ処理プロセスと表現を詳しく調べ、その後、
レーダーとカメラの融合データセットの詳細な分析と概要。
レーダーとカメラの融合における方法論のレビューでは、「なぜ融合するのか」、「何を融合するのか」、「どこで融合するのか」、「いつ融合するのか」、「どのように融合するのか」などの疑問的な質問に対処し、その後、次の点について議論します。
この分野におけるさまざまな課題と潜在的な研究の方向性。
データセットと融合手法の検索と比較を容易にするために、インタラクティブな Web サイト https://radar-camera-fusion.github.io も提供しています。

要約(オリジナル)

Driven by deep learning techniques, perception technology in autonomous driving has developed rapidly in recent years, enabling vehicles to accurately detect and interpret surrounding environment for safe and efficient navigation. To achieve accurate and robust perception capabilities, autonomous vehicles are often equipped with multiple sensors, making sensor fusion a crucial part of the perception system. Among these fused sensors, radars and cameras enable a complementary and cost-effective perception of the surrounding environment regardless of lighting and weather conditions. This review aims to provide a comprehensive guideline for radar-camera fusion, particularly concentrating on perception tasks related to object detection and semantic segmentation.Based on the principles of the radar and camera sensors, we delve into the data processing process and representations, followed by an in-depth analysis and summary of radar-camera fusion datasets. In the review of methodologies in radar-camera fusion, we address interrogative questions, including ‘why to fuse’, ‘what to fuse’, ‘where to fuse’, ‘when to fuse’, and ‘how to fuse’, subsequently discussing various challenges and potential research directions within this domain. To ease the retrieval and comparison of datasets and fusion methods, we also provide an interactive website: https://radar-camera-fusion.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google