Dual Radar: A Multi-modal Dataset with Dual 4D Radar for Autononous Driving

要約

レーダーは、広く採用されているカメラや LiDAR と比較して、自動運転の環境認識にとって不利なシナリオに対する適応力が優れています。
一般的に使用されている 3D レーダーと比較して、最新の 4D レーダーは正確な垂直解像度と高い点群密度を備えているため、複雑な環境認識における自動運転用のセンサーとして非常に有望です。
ただし、LiDAR よりもノイズがはるかに高いため、メーカーはさまざまなフィルタリング戦略を選択し、その結果、ノイズ レベルと点群密度の間に反比例が生じます。
自動運転における深層学習ベースの知覚アルゴリズムにどの方法が有益であるかについての比較分析はまだ不足しています。
主な理由の 1 つは、現在のデータセットが 1 種類の 4D レーダーのみを採用しているため、同じシーン内で異なる 4D レーダーを比較することが困難であることです。
そこで、この論文では、初めて 2 種類の 4D レーダーを同時に捕捉した、新しい大規模マルチモーダル データセットを紹介します。
このデータセットにより、効果的な 4D レーダー認識アルゴリズムのさらなる研究が可能になります。私たちのデータセットは 151 の連続したシリーズで構成されており、そのほとんどは 20 秒続き、細心の注意を払って同期され、注釈が付けられた 10,007 フレームが含まれています。
さらに、当社のデータセットは、さまざまな道路状況、気象条件、照明の強度や期間が異なる夜間と日中など、さまざまな困難な運転シナリオをキャプチャします。
私たちのデータセットは連続フレームに注釈を付け、3D オブジェクトの検出と追跡に適用できるほか、マルチモーダル タスクの研究もサポートします。
私たちはデータセットを実験的に検証し、さまざまなタイプの 4D レーダーを研究するための貴重な結果を提供します。
このデータセットは https://github.com/adept-thu/Dual-Radar でリリースされています。

要約(オリジナル)

Radar has stronger adaptability in adverse scenarios for autonomous driving environmental perception compared to widely adopted cameras and LiDARs. Compared with commonly used 3D radars, latest 4D radars have precise vertical resolution and higher point cloud density, making it a highly promising sensor for autonomous driving in complex environmental perception. However, due to the much higher noise than LiDAR, manufacturers choose different filtering strategies, resulting in an inverse ratio between noise level and point cloud density. There is still a lack of comparative analysis on which method is beneficial for deep learning-based perception algorithms in autonomous driving. One of the main reasons is that current datasets only adopt one type of 4D radar, making it difficult to compare different 4D radars in the same scene. Therefore, in this paper, we introduce a novel large-scale multi-modal dataset featuring, for the first time, two types of 4D radars captured simultaneously. This dataset enables further research into effective 4D radar perception algorithms.Our dataset consists of 151 consecutive series, most of which last 20 seconds and contain 10,007 meticulously synchronized and annotated frames. Moreover, our dataset captures a variety of challenging driving scenarios, including many road conditions, weather conditions, nighttime and daytime with different lighting intensities and periods. Our dataset annotates consecutive frames, which can be applied to 3D object detection and tracking, and also supports the study of multi-modal tasks. We experimentally validate our dataset, providing valuable results for studying different types of 4D radars. This dataset is released on https://github.com/adept-thu/Dual-Radar.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google