CenterRadarNet: Joint 3D Object Detection and Tracking Framework using 4D FMCW Radar

要約

堅牢な認識は、安全な自動運転および支援運転を確保するために不可欠な要素です。
耐候性センシングを提供する車載レーダー (77 ～ 81 GHz) は、ビジョンまたは LiDAR ベースの自動運転システムに補完的な機能を提供します。
生の無線周波数 (RF) レーダー テンソルには、3D 位置情報に加えて豊富な時空間セマンティクスが含まれています。
これまでの手法の大部分は 3D (ドップラー距離方位角) RF レーダー テンソルを取り込んでおり、鳥瞰図 (BEV) での物体の位置、方位角、およびサイズを予測できます。
ただし、3D 空間内のオブジェクトのサイズ、方向、および同一性を同時に推測する機能はありません。
この制限を克服するために、我々は CenterRadarNet と呼ばれる効率的な統合アーキテクチャを提案します。このアーキテクチャは、3D 物体検出および再識別 (re-ID) タスクのために 4D (ドップラー距離-方位角-仰角) レーダー データからの高解像度表現学習を容易にするように設計されています。
シングルステージ 3D オブジェクト検出器として、CenterRadarNet は、BEV オブジェクト分布信頼マップ、対応する 3D 境界ボックス属性、および各ピクセルの外観の埋め込みを直接推論します。
さらに、学習された外観の埋め込みを利用して再IDを行うオンライントラッカーを構築します。
CenterRadarNet は、K-Radar 3D 物体検出ベンチマークで最先端の結果を達成しました。
さらに、K-Radar データセット V2 上のレーダーを使用した最初の 3D オブジェクト追跡結果を紹介します。
多様な運転シナリオにおいて、CenterRadarNet は一貫した堅牢なパフォーマンスを示し、その幅広い適用性を強調します。

要約(オリジナル)

Robust perception is a vital component for ensuring safe autonomous and assisted driving. Automotive radar (77 to 81 GHz), which offers weather-resilient sensing, provides a complementary capability to the vision- or LiDAR-based autonomous driving systems. Raw radio-frequency (RF) radar tensors contain rich spatiotemporal semantics besides 3D location information. The majority of previous methods take in 3D (Doppler-range-azimuth) RF radar tensors, allowing prediction of an object’s location, heading angle, and size in bird’s-eye-view (BEV). However, they lack the ability to at the same time infer objects’ size, orientation, and identity in the 3D space. To overcome this limitation, we propose an efficient joint architecture called CenterRadarNet, designed to facilitate high-resolution representation learning from 4D (Doppler-range-azimuth-elevation) radar data for 3D object detection and re-identification (re-ID) tasks. As a single-stage 3D object detector, CenterRadarNet directly infers the BEV object distribution confidence maps, corresponding 3D bounding box attributes, and appearance embedding for each pixel. Moreover, we build an online tracker utilizing the learned appearance embedding for re-ID. CenterRadarNet achieves the state-of-the-art result on the K-Radar 3D object detection benchmark. In addition, we present the first 3D object-tracking result using radar on the K-Radar dataset V2. In diverse driving scenarios, CenterRadarNet shows consistent, robust performance, emphasizing its wide applicability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google