Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object Detection

要約

LiDARとRadarは、LiDARが物体の3D形状を捉えることに特化し、Radarがより長い検出範囲と速度ヒントを提供するという点で補完的なセンシング手法です。一見、自然なことですが、特徴表現を向上させるために、これらを効率的に組み合わせる方法は、まだ不明です。主な課題は、レーダーデータは非常に疎なデータであり、高さ情報を持たないことです。そのため、レーダーの特徴をLiDAR中心の検出ネットワークに直接統合することは、最適とは言えません。本研究では、これらの課題に取り組み、動的物体の3D検出を改善するために、双方向LiDAR-Radarフュージョンフレームワーク（Bi-LRFusionと呼ぶ）を紹介する。第一に、高さ情報の欠如と極端なスパース性によって引き起こされる問題を軽減するために、LiDARブランチから重要な詳細を学習することによってレーダーの局所的な特徴を強化する。第二に、LiDAR特徴と強化されたレーダー特徴を統合した鳥瞰図表現に結合する。我々は、nuScenesとORRデータセットで大規模な実験を行い、我々のBi-LRFusionが動的オブジェクトの検出において最先端の性能を達成することを示す。注目すべきは、これら2つのデータセットのRadarデータのフォーマットが異なることであり、本手法の一般性を実証している。コードは https://github.com/JessieW0806/BiLRFusion で入手可能です。

要約(オリジナル)

LiDAR and Radar are two complementary sensing approaches in that LiDAR specializes in capturing an object’s 3D shape while Radar provides longer detection ranges as well as velocity hints. Though seemingly natural, how to efficiently combine them for improved feature representation is still unclear. The main challenge arises from that Radar data are extremely sparse and lack height information. Therefore, directly integrating Radar features into LiDAR-centric detection networks is not optimal. In this work, we introduce a bi-directional LiDAR-Radar fusion framework, termed Bi-LRFusion, to tackle the challenges and improve 3D detection for dynamic objects. Technically, Bi-LRFusion involves two steps: first, it enriches Radar’s local features by learning important details from the LiDAR branch to alleviate the problems caused by the absence of height information and extreme sparsity; second, it combines LiDAR features with the enhanced Radar features in a unified bird’s-eye-view representation. We conduct extensive experiments on nuScenes and ORR datasets, and show that our Bi-LRFusion achieves state-of-the-art performance for detecting dynamic objects. Notably, Radar data in these two datasets have different formats, which demonstrates the generalizability of our method. Codes are available at https://github.com/JessieW0806/BiLRFusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL