Radar-Camera Fusion for Object Detection and Semantic Segmentation in Autonomous Driving: A Comprehensive Review

要約

タイトル：自動運転におけるレーダーカメラ融合による物体検出および意味的セグメンテーション：包括的レビュー

要約：
– 深層学習技術によって推進され、自動運転における知覚技術は近年急速に発展しています。
– 正確で堅牢な認識機能を実現するために、自動車には多数のセンサーが搭載されており、センサー融合は認識システムの重要な部分となっています。
– これらの融合されたセンサーの中で、レーダーとカメラは照明や気象条件に関係なく周囲の環境を相補的かつ費用対効果の高い方法で認識することができます。
– このレビューは、特に物体検出および意味的セグメンテーションに関連する知覚タスクに焦点を当て、レーダーカメラ融合の包括的なガイドラインを提供することを目的としています。
– レーダーおよびカメラセンサーの原理に基づいて、データ処理プロセスおよび表現について詳しく説明し、その後、レーダーカメラ融合データセットの網羅的な分析およびまとめを行います。
– レーダーカメラ融合の手法のレビューでは、「なぜ融合するか」、「何を融合するか」、「どこで融合するか」、「いつ融合するか」、「どのように融合するか」といった質問に取り組み、その後、この領域内のさまざまな課題と潜在的な研究方向について議論します。
– データセットと融合方法の検索と比較を容易にするために、以下のインタラクティブなウェブサイトを提供しています：https://XJTLU-VEC.github.io/Radar-Camera-Fusion。

要約(オリジナル)

Driven by deep learning techniques, perception technology in autonomous driving has developed rapidly in recent years. To achieve accurate and robust perception capabilities, autonomous vehicles are often equipped with multiple sensors, making sensor fusion a crucial part of the perception system. Among these fused sensors, radars and cameras enable a complementary and cost-effective perception of the surrounding environment regardless of lighting and weather conditions. This review aims to provide a comprehensive guideline for radar-camera fusion, particularly concentrating on perception tasks related to object detection and semantic segmentation. Based on the principles of the radar and camera sensors, we delve into the data processing process and representations, followed by an in-depth analysis and summary of radar-camera fusion datasets. In the review of methodologies in radar-camera fusion, we address interrogative questions, including ‘why to fuse’, ‘what to fuse’, ‘where to fuse’, ‘when to fuse’, and ‘how to fuse’, subsequently discussing various challenges and potential research directions within this domain. To ease the retrieval and comparison of datasets and fusion methods, we also provide an interactive website: https://XJTLU-VEC.github.io/Radar-Camera-Fusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI