RadarOcc: Robust 3D Occupancy Prediction with 4D Imaging Radar

要約

3D 占有ベースの認識パイプラインは、詳細なシーンの説明をキャプチャし、さまざまなオブジェクト カテゴリや形状にわたって強力な一般化可能性を実証することで、自動運転を大幅に進歩させました。
現在の方法は主に、3D 占有予測のために LiDAR またはカメラ入力に依存しています。
これらの方法は悪天候の影響を受けやすいため、全天候型の自動運転車の導入が制限されます。
知覚の堅牢性を向上させるために、最近の自動車レーダーの進歩を活用し、3D 占有予測に 4D 画像レーダー センサーを利用する新しいアプローチを導入します。
私たちの手法である RadarOcc は、4D レーダー テンソルを直接処理することで、まばらなレーダー点群の制限を回避し、重要なシーンの詳細を保持します。
RadarOcc は、ドップラー ビン記述子、サイドローブを意識した空間スパース化、および範囲ごとのセルフ アテンション メカニズムを採用することで、大量でノイズの多い 4D レーダー データに関連する課題に革新的に対処します。
直接座標変換に関連する内挿誤差を最小限に抑えるために、球面ベースの特徴エンコーディングとそれに続く球面からデカルト座標への特徴の集約も考案しました。
私たちは、公開されている K-Radar データセット上の個別のモダリティに基づいて、さまざまなベースライン手法をベンチマークします。
この結果は、レーダーベースの 3D 占有予測における RadarOcc の最先端のパフォーマンスと、LiDAR またはカメラベースの方法と比較した場合でも有望な結果を示しています。
さらに、悪天候下における 4D レーダーの優れた性能の定性的証拠を提示し、アブレーション研究を通じて主要なパイプライン コンポーネントの影響を調査します。

要約(オリジナル)

3D occupancy-based perception pipeline has significantly advanced autonomous driving by capturing detailed scene descriptions and demonstrating strong generalizability across various object categories and shapes. Current methods predominantly rely on LiDAR or camera inputs for 3D occupancy prediction. These methods are susceptible to adverse weather conditions, limiting the all-weather deployment of self-driving cars. To improve perception robustness, we leverage the recent advances in automotive radars and introduce a novel approach that utilizes 4D imaging radar sensors for 3D occupancy prediction. Our method, RadarOcc, circumvents the limitations of sparse radar point clouds by directly processing the 4D radar tensor, thus preserving essential scene details. RadarOcc innovatively addresses the challenges associated with the voluminous and noisy 4D radar data by employing Doppler bins descriptors, sidelobe-aware spatial sparsification, and range-wise self-attention mechanisms. To minimize the interpolation errors associated with direct coordinate transformations, we also devise a spherical-based feature encoding followed by spherical-to-Cartesian feature aggregation. We benchmark various baseline methods based on distinct modalities on the public K-Radar dataset. The results demonstrate RadarOcc’s state-of-the-art performance in radar-based 3D occupancy prediction and promising results even when compared with LiDAR- or camera-based methods. Additionally, we present qualitative evidence of the superior performance of 4D radar in adverse weather conditions and explore the impact of key pipeline components through ablation studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google