RaLiBEV: Radar and LiDAR BEV Fusion Learning for Anchor Box Free Object Detection Systems

要約

自動運転では、LiDAR とレーダーが環境認識に重要です。
LiDAR は正確な 3D 空間センシング情報を提供しますが、霧などの悪天候では困難を伴います。
逆に、レーダー信号はその特定の波長により雨や霧を透過できますが、ノイズ障害を受けやすいです。
最近の最先端の研究により、レーダーと LiDAR の融合により、悪天候でも確実な検出が可能になることが明らかになりました。
既存の研究では、畳み込みニューラル ネットワーク アーキテクチャを採用して各センサー データから特徴を抽出し、次に 2 つの分岐特徴を位置合わせして集約して、物体検出結果を予測します。
ただし、これらの方法では、ラベルの割り当てと融合戦略が単純な設計であるため、予測される境界ボックスの精度が低くなります。
本稿では、レーダーの距離方位ヒートマップとLiDAR点群から得られる特徴を融合して、可能性のある物体を推定する、鳥瞰図融合学習ベースのアンカーボックスフリー物体検出システムを提案します。
前景または背景のアンカー ポイントの分類と、対応するバウンディング ボックス回帰の間の一貫性を容易にするために、さまざまなラベル割り当て戦略が設計されています。
さらに、提案された物体検出器の性能は、新しい対話型変換モジュールを採用することによってさらに強化されます。
この論文で提案された方法の優れたパフォーマンスは、最近公開された Oxford Radar RobotCar データセットを使用して実証されました。
当社のシステムの平均精度は、「Clear」および「Foggy」テストの「Clear+Foggy」トレーニング条件下での和集合 (IoU) 0.8 で、それぞれ最新の方法を 13.1% および 19.0% 大幅に上回っています。

要約(オリジナル)

In autonomous driving, LiDAR and radar are crucial for environmental perception. LiDAR offers precise 3D spatial sensing information but struggles in adverse weather like fog. Conversely, radar signals can penetrate rain or mist due to their specific wavelength but are prone to noise disturbances. Recent state-of-the-art works reveal that the fusion of radar and LiDAR can lead to robust detection in adverse weather. The existing works adopt convolutional neural network architecture to extract features from each sensor data, then align and aggregate the two branch features to predict object detection results. However, these methods have low accuracy of predicted bounding boxes due to a simple design of label assignment and fusion strategies. In this paper, we propose a bird’s-eye view fusion learning-based anchor box-free object detection system, which fuses the feature derived from the radar range-azimuth heatmap and the LiDAR point cloud to estimate possible objects. Different label assignment strategies have been designed to facilitate the consistency between the classification of foreground or background anchor points and the corresponding bounding box regressions. Furthermore, the performance of the proposed object detector is further enhanced by employing a novel interactive transformer module. The superior performance of the methods proposed in this paper has been demonstrated using the recently published Oxford Radar RobotCar dataset. Our system’s average precision significantly outperforms the state-of-the-art method by 13.1% and 19.0% at Intersection of Union (IoU) of 0.8 under ‘Clear+Foggy’ training conditions for ‘Clear’ and ‘Foggy’ testing, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google