RaLiBEV: Radar and LiDAR BEV Fusion Learning for Anchor Box Free Object Detection Systems

要約

自律走行では、LiDARとレーダーが周辺環境の認識において重要な役割を果たす。LiDARは正確な3D空間センシング情報を提供するが、霧のような悪天候では機能しない。一方、レーダー信号は、その波長のおかげで、雨滴や霧の粒子に遭遇したときに回折することができますが、大きなノイズに悩まされています。最近の最先端研究では、レーダーとLiDARを融合することで、悪天候下でもロバストな検出が可能であることが明らかになっている。既存の研究では、それぞれのセンサーデータから特徴を抽出するために畳み込みニューラルネットワークアーキテクチャを採用し、次に物体検出結果を予測するために2つの分岐特徴を整列・集約する。しかし、これらの手法は、ラベル割り当てと融合戦略の設計が単純であるため、バウンディングボックスの推定精度が低い。本論文では、レーダーレンジ方位ヒートマップとLiDAR点群から得られる特徴量を融合し、可能性のある物体を推定する、鳥瞰融合学習ベースのアンカーボックスフリー物体検出システムを提案する。前景または背景のアンカーポイントの分類と、対応するバウンディングボックスの回帰との間の整合性を容易にするために、異なるラベル割り当て戦略が設計されている。さらに、提案する物体検出器の性能は、新しい対話型変換モジュールを採用することでさらに向上する。本稿で提案する手法の優れた性能は、最近発表されたOxford Radar RobotCarデータセットを用いて実証された。我々のシステムの平均精度は、’Clear+Foggy’の学習条件下で、IoUが0.8の場合、’Clear’と’Foggy’のテストにおいて、それぞれ13.1%と19.0%と、最先端の手法を大幅に上回る。

要約(オリジナル)

In autonomous driving, LiDAR and radar play important roles in the perception of the surrounding environment. LiDAR provides accurate 3D spatial sensing information but cannot work in adverse weather like fog. On the other hand, the radar signal can be diffracted when encountering raindrops or mist particles thanks to its wavelength, but it suffers from large noise. Recent state-of-the-art works reveal that fusion of radar and LiDAR can lead to robust detection in adverse weather. The existing works adopt convolutional neural network architecture to extract features from each sensor data, then align and aggregate the two branch features to predict object detection results. However, these methods have low accuracy of bounding box estimations due to a simple design of label assignment and fusion strategies. In this paper, we propose a bird’s-eye view fusion learning-based anchor box-free object detection system, which fuses the feature derived from the radar range-azimuth heatmap and the LiDAR point cloud to estimate possible objects. Different label assignment strategies have been designed to facilitate the consistency between the classification of foreground or background anchor points and the corresponding bounding box regressions. Furthermore, the performance of the proposed object detector is further enhanced by employing a novel interactive transformer module. The superior performance of the methods proposed in this paper has been demonstrated using the recently published Oxford Radar RobotCar dataset. Our system’s average precision significantly outperforms the state-of-the-art method by 13.1% and 19.0% at IoU of 0.8 under ‘Clear+Foggy’ training conditions for ‘Clear’ and ‘Foggy’ testing, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL