CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for Robust 3D Object Detection

要約

安全な自動運転には、堅牢な 3D オブジェクト検出が不可欠です。
カメラ センサーとレーダー センサーは、補完的な情報を取得し、さまざまな環境条件下で適切に機能するため、相乗効果があります。
ただし、カメラとレーダーのデータを融合することは困難です。各センサーには垂直軸に沿った情報がないためです。つまり、深度はカメラにとって未知であり、標高はレーダーにとって未知です。
カメラとレーダーのマッチング ネットワーク CramNet を提案します。これは、カメラとレーダーからのセンサー読み取り値を結合 3D 空間で融合するための効率的なアプローチです。
レーダー距離測定を活用してカメラの深度をより適切に予測するために、カメラの特徴とレーダーの特徴の間の幾何学的対応のあいまいさを解決する、新しいレイ制約付き相互注意メカニズムを提案します。
私たちの方法は、カメラやレーダーセンサーが車両で突然故障した場合でも、堅牢な3Dオブジェクト検出につながるセンサーモダリティドロップアウトを使用したトレーニングをサポートしています。
レーダー無線周波数画像を提供する数少ない大規模データセットの 1 つである RADIATE データセットでの広範な実験を通じて、融合アプローチの有効性を実証します。
私たちの方法のカメラのみのバリアントは、Waymo Open Dataset での単眼 3D~オブジェクト検出で競争力のあるパフォーマンスを達成します。

要約(オリジナル)

Robust 3D object detection is critical for safe autonomous driving. Camera and radar sensors are synergistic as they capture complementary information and work well under different environmental conditions. Fusing camera and radar data is challenging, however, as each of the sensors lacks information along a perpendicular axis, that is, depth is unknown to camera and elevation is unknown to radar. We propose the camera-radar matching network CramNet, an efficient approach to fuse the sensor readings from camera and radar in a joint 3D space. To leverage radar range measurements for better camera depth predictions, we propose a novel ray-constrained cross-attention mechanism that resolves the ambiguity in the geometric correspondences between camera features and radar features. Our method supports training with sensor modality dropout, which leads to robust 3D~object detection, even when a camera or radar sensor suddenly malfunctions on a vehicle. We demonstrate the effectiveness of our fusion approach through extensive experiments on the RADIATE dataset, one of the few large-scale datasets that provide radar radio frequency imagery. A camera-only variant of our method achieves competitive performance in monocular 3D~object detection on the Waymo Open Dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google