K-Radar: 4D Radar Object Detection for Autonomous Driving in Various Weather Conditions

要約

可視光帯域 (384$\sim$769 THz) を使用する RGB カメラや赤外線帯域 (361$\sim$331 THz) を使用するライダーとは異なり、レーダーは比較的長波長の無線帯域 (77$\sim$81 GHz) を使用するため、堅牢な通信が可能になります。
悪天候時の測定。
残念ながら、既存のレーダー データセットには、既存のカメラ データセットやライダー データセットと比較して比較的少数のサンプルしか含まれていません。
これは、レーダーベースの知覚のための高度なデータ駆動型ディープラーニング技術の開発を妨げる可能性があります。
さらに、既存のレーダー データセットのほとんどは、ドップラー、距離、方位角の次元に沿ったパワー測定値を含む 3D レーダー テンソル (3DRT) データのみを提供します。
標高情報がないため、3DRT からオブジェクトの 3D 境界ボックスを推定することは困難です。
この研究では、新しい大規模物体検出データセットおよびベンチマークである KAIST-Radar (K-Radar) を紹介します。これには、ドップラー、距離、方位角、および仰角に沿ったパワー測定を含む 35,000 フレームの 4D レーダー テンソル (4DRT) データが含まれています。
道路上のオブジェクトの寸法と、慎重に注釈が付けられた 3D 境界ボックスのラベルが表示されます。
K-Radar には、さまざまな道路構造 (都市部、郊外の道路、路地、高速道路) での悪天候 (霧、雨、雪) などの困難な運転条件が含まれます。
4DRT に加えて、慎重に校正された高解像度 Lidar、サラウンド ステレオ カメラ、RTK-GPS からの補助測定も提供します。
また、4DRT ベースの物体検出ベースライン ニューラル ネットワーク (ベースライン NN) も提供し、3D 物体検出には高さ情報が重要であることを示します。
また、ベースライン NN を同様の構造の Lidar ベースのニューラル ネットワークと比較することで、4D レーダーが悪天候に対してより堅牢なセンサーであることを実証します。
すべてのコードは https://github.com/kaist-avelab/k-radar で入手できます。

要約(オリジナル)

Unlike RGB cameras that use visible light bands (384$\sim$769 THz) and Lidars that use infrared bands (361$\sim$331 THz), Radars use relatively longer wavelength radio bands (77$\sim$81 GHz), resulting in robust measurements in adverse weathers. Unfortunately, existing Radar datasets only contain a relatively small number of samples compared to the existing camera and Lidar datasets. This may hinder the development of sophisticated data-driven deep learning techniques for Radar-based perception. Moreover, most of the existing Radar datasets only provide 3D Radar tensor (3DRT) data that contain power measurements along the Doppler, range, and azimuth dimensions. As there is no elevation information, it is challenging to estimate the 3D bounding box of an object from 3DRT. In this work, we introduce KAIST-Radar (K-Radar), a novel large-scale object detection dataset and benchmark that contains 35K frames of 4D Radar tensor (4DRT) data with power measurements along the Doppler, range, azimuth, and elevation dimensions, together with carefully annotated 3D bounding box labels of objects on the roads. K-Radar includes challenging driving conditions such as adverse weathers (fog, rain, and snow) on various road structures (urban, suburban roads, alleyways, and highways). In addition to the 4DRT, we provide auxiliary measurements from carefully calibrated high-resolution Lidars, surround stereo cameras, and RTK-GPS. We also provide 4DRT-based object detection baseline neural networks (baseline NNs) and show that the height information is crucial for 3D object detection. And by comparing the baseline NN with a similarly-structured Lidar-based neural network, we demonstrate that 4D Radar is a more robust sensor for adverse weather conditions. All codes are available at https://github.com/kaist-avelab/k-radar.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google