K-Radar: 4D Radar Object Detection for Autonomous Driving in Various Weather Conditions

要約

可視光帯域 (384$\sim$769 THz) を使用する RGB カメラや赤外線帯域 (361$\sim$331 THz) を使用する LIDAR とは異なり、レーダーは比較的長い波長の無線帯域 (77$\sim$81 GHz) を使用するため、
悪天候での測定。
残念ながら、既存のレーダー データセットには、既存のカメラおよびライダー データセットと比較して比較的少数のサンプルしか含まれていません。
これは、レーダーベースの知覚のための洗練されたデータ駆動型の深層学習技術の開発を妨げる可能性があります.
さらに、既存のレーダー データセットのほとんどは、ドップラー、範囲、および方位角の次元に沿った電力測定値を含む 3D レーダー テンソル (3DRT) データのみを提供します。
標高情報がないため、3DRT からオブジェクトの 3D バウンディング ボックスを推定するのは困難です。
この作業では、KAIST-Radar (K-Radar) を紹介します。これは、ドップラー、距離、方位角、仰角に沿った電力測定値を含む 4D レーダー テンソル (4DRT) データの 35K フレームを含む、新しい大規模な物体検出データセットおよびベンチマークです。
道路上のオブジェクトの慎重に注釈が付けられた 3D バウンディング ボックス ラベルと共に、寸法。
K-Radar には、さまざまな道路構造物 (都市、郊外の道路、路地、高速道路) での悪天候 (霧、雨、雪) などの困難な運転条件が含まれます。
4DRT に加えて、慎重に調整された高解像度 Lidar、サラウンド ステレオ カメラ、RTK-GPS からの補助測定を提供します。
また、4DRT ベースのオブジェクト検出ベースライン ニューラル ネットワーク (ベースライン NN) を提供し、高さ情報が 3D オブジェクト検出に重要であることを示します。
また、ベースライン NN を同様に構造化された Lidar ベースのニューラル ネットワークと比較することで、4D Radar が悪天候に対してより堅牢なセンサーであることを示しています。
すべてのコードは https://github.com/kaist-avelab/k-radar で入手できます。

要約(オリジナル)

Unlike RGB cameras that use visible light bands (384$\sim$769 THz) and Lidars that use infrared bands (361$\sim$331 THz), Radars use relatively longer wavelength radio bands (77$\sim$81 GHz), resulting in robust measurements in adverse weathers. Unfortunately, existing Radar datasets only contain a relatively small number of samples compared to the existing camera and Lidar datasets. This may hinder the development of sophisticated data-driven deep learning techniques for Radar-based perception. Moreover, most of the existing Radar datasets only provide 3D Radar tensor (3DRT) data that contain power measurements along the Doppler, range, and azimuth dimensions. As there is no elevation information, it is challenging to estimate the 3D bounding box of an object from 3DRT. In this work, we introduce KAIST-Radar (K-Radar), a novel large-scale object detection dataset and benchmark that contains 35K frames of 4D Radar tensor (4DRT) data with power measurements along the Doppler, range, azimuth, and elevation dimensions, together with carefully annotated 3D bounding box labels of objects on the roads. K-Radar includes challenging driving conditions such as adverse weathers (fog, rain, and snow) on various road structures (urban, suburban roads, alleyways, and highways). In addition to the 4DRT, we provide auxiliary measurements from carefully calibrated high-resolution Lidars, surround stereo cameras, and RTK-GPS. We also provide 4DRT-based object detection baseline neural networks (baseline NNs) and show that the height information is crucial for 3D object detection. And by comparing the baseline NN with a similarly-structured Lidar-based neural network, we demonstrate that 4D Radar is a more robust sensor for adverse weather conditions. All codes are available at https://github.com/kaist-avelab/k-radar.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google