RaLiBEV: Radar and LiDAR BEV Fusion Learning for Anchor Box Free Object Detection System

要約

自動運転システムでは、LiDAR とレーダーが周囲環境の認識に重要な役割を果たします。LiDAR は正確な 3D 空間センシング情報を提供しますが、霧などの悪天候では機能しません。
一方、レーダー信号は、その波長により雨滴や霧の粒子に遭遇すると回折することがありますが、ノイズが大きくなります。
最近の最先端の研究では、レーダーと LiDAR の融合が悪天候での堅牢な検出につながる可能性があることが明らかになりました。
既存の研究では、畳み込みニューラル ネットワーク アーキテクチャを採用して、各センサー データ ストリームから特徴を抽出し、次に 2 つの分岐特徴を整列および集約して、物体検出結果を予測します。
ただし、これらの方法は、ラベルの割り当てと融合戦略の設計が単純であるため、バウンディング ボックスの推定精度が低くなります。
この論文では、レーダー距離-方位角ヒートマップと LiDAR ポイント クラウドから導出された特徴を融合して、可能性のあるオブジェクトを推定する、鳥瞰図融合学習ベースのアンカー ボックスを使用しないオブジェクト検出システムを提案します。
フォアグラウンドまたはバックグラウンドのアンカー ポイントの分類と、対応するバウンディング ボックスの回帰との間の一貫性を促進するために、さまざまなラベル割り当て戦略が設計されています。
さらに、提案された物体検出器の性能は、新しいインタラクティブ変換モジュールを採用することによってさらに強化されます。
このホワイト ペーパーで提案されている方法の優れたパフォーマンスは、最近公開されたオックスフォード レーダー robotCar データセットを使用して実証されており、システムの平均精度が、IoU で 14.4% および 20.5% で最高の最先端の方法を大幅に上回ることを示しています。
晴天と霧の天気のテストでは、それぞれ 0.8 に相当します。

要約(オリジナル)

In autonomous driving systems, LiDAR and radar play important roles in the perception of the surrounding environment.LiDAR provides accurate 3D spatial sensing information but cannot work in adverse weather like fog. On the other hand, the radar signal can be diffracted when encountering raindrops or mist particles thanks to its wavelength, but it suffers from large noise. Recent state-of-the-art works reveal that fusion of radar and LiDAR can lead to robust detection in adverse weather. The existing works adopt convolutional neural network architecture to extract features from each sensor data stream, then align and aggregate the two branch features to predict object detection results. However, these methods have low accuracy of bounding box estimations due to a simple design of label assignment and fusion strategies. In this paper, we propose a bird’s-eye view fusion learning-based anchor box-free object detection system, which fuses the feature derived from the radar range-azimuth heatmap and the LiDAR point cloud to estimate the possible objects. Different label assignment strategies have been designed to facilitate the consistency between the classification of foreground or background anchor points and the corresponding bounding box regressions. In addition, the performance of the proposed object detector is further enhanced by employing a novel interactive transformer module. The superior performance of the proposed methods in this paper has been demonstrated using the recently published Oxford radar robotCar dataset, showing that the average precision of our system significantly outperforms the best state-of-the-art method by 14.4% and 20.5% at IoU equals 0.8 in clear and foggy weather testing, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google