ClusterFusion: Leveraging Radar Spatial Features for Radar-Camera 3D Object Detection in Autonomous Vehicles

要約

ミリ波レーダーとカメラの相補的な性質のおかげで、ディープラーニングベースのレーダーカメラによる 3D 物体検出方法は、視界が悪い状況でも正確な検出を確実に行うことができます。
このため、特に両方のセンサーの合計コストが LIDAR のコストよりも安価であるため、自動運転車の認識システムでの使用に適しています。
最近のレーダー カメラ手法は一般に、画像特徴と同じ平面上にレーダー ポイントを投影し、両方のモダリティから抽出された特徴を融合することを含む特徴レベルの融合を実行します。
一般に、画像平面上でフュージョンを実行する方が簡単かつ高速ですが、レーダー ポイントを画像平面に投影すると、点群の深度次元が平坦になり、情報損失が発生する可能性があり、点群の空間特徴の抽出が困難になります。
私たちは、点群をクラスタリングし、特徴を画像平面に投影する前に点群クラスター上で直接特徴抽出を実行することにより、レーダー点群の局所的な空間特徴を活用するアーキテクチャである ClusterFusion を提案しました。
ClusterFusion は、nuScenes データセットのテスト スライス上で、すべてのレーダー単眼カメラ方式の中で最先端のパフォーマンスを達成し、nuScenes 検出スコア (NDS) 48.7% を達成しました。
また、点群クラスターに対するさまざまなレーダー特徴抽出戦略 (手作りの戦略、学習ベースの戦略、および両方の組み合わせ) のパフォーマンスを調査したところ、手作りの戦略が最高のパフォーマンスをもたらすことがわかりました。
この研究の主な目的は、画像平面上でクロスモーダル特徴融合を実行するレーダー単眼カメラ 3D 物体検出方法のために、レーダー点群クラスターからレーダーの局所的空間および点単位の特徴を直接抽出することにより、その使用方法を探ることです。
。

要約(オリジナル)

Thanks to the complementary nature of millimeter wave radar and camera, deep learning-based radar-camera 3D object detection methods may reliably produce accurate detections even in low-visibility conditions. This makes them preferable to use in autonomous vehicles’ perception systems, especially as the combined cost of both sensors is cheaper than the cost of a lidar. Recent radar-camera methods commonly perform feature-level fusion which often involves projecting the radar points onto the same plane as the image features and fusing the extracted features from both modalities. While performing fusion on the image plane is generally simpler and faster, projecting radar points onto the image plane flattens the depth dimension of the point cloud which might lead to information loss and makes extracting the spatial features of the point cloud harder. We proposed ClusterFusion, an architecture that leverages the local spatial features of the radar point cloud by clustering the point cloud and performing feature extraction directly on the point cloud clusters before projecting the features onto the image plane. ClusterFusion achieved the state-of-the-art performance among all radar-monocular camera methods on the test slice of the nuScenes dataset with 48.7% nuScenes detection score (NDS). We also investigated the performance of different radar feature extraction strategies on point cloud clusters: a handcrafted strategy, a learning-based strategy, and a combination of both, and found that the handcrafted strategy yielded the best performance. The main goal of this work is to explore the use of radar’s local spatial and point-wise features by extracting them directly from radar point cloud clusters for a radar-monocular camera 3D object detection method that performs cross-modal feature fusion on the image plane.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google