CRN: Camera Radar Net for Accurate, Robust, Efficient 3D Perception

要約

自動運転には、3D オブジェクトの検出、追跡、セグメンテーションを含む、正確かつ高速な 3D 認識システムが必要です。
最近の低コストのカメラベースのアプローチは有望な結果を示していますが、不十分な照明や悪天候条件の影響を受けやすく、位置特定誤差が大きくなります。
したがって、正確な長距離測定を提供し、あらゆる環境で確実に動作する低コストのレーダーとカメラを融合することは有望ですが、まだ十分に調査されていません。
この論文では、さまざまなタスクに対して意味論的に豊富で空間的に正確な鳥瞰図 (BEV) 特徴マップを生成する、新しいカメラとレーダーの融合フレームワークである Camera Radar Net (CRN) を提案します。
画像内の空間情報の欠如を克服するために、まばらだが正確なレーダー ポイントを利用して透視図の画像特徴を BEV に変換します。
さらに、入力間の空間的な不整合に対処するために設計されたマルチモーダル変形可能な注意を使用して、BEV で画像とレーダーの特徴マップを集約します。
リアルタイム設定の CRN は 20 FPS で動作し、nuScenes の LiDAR 検出器と同等のパフォーマンスを実現し、100 メートルの設定では遠距離でもパフォーマンスを上回ります。
さらに、オフライン設定の CRN は、nuScenes テスト セットで 62.4% の NDS、57.5% の mAP をもたらし、すべてのカメラおよびカメラ レーダー 3D 物体検出器の中で 1 位にランクされます。

要約(オリジナル)

Autonomous driving requires an accurate and fast 3D perception system that includes 3D object detection, tracking, and segmentation. Although recent low-cost camera-based approaches have shown promising results, they are susceptible to poor illumination or bad weather conditions and have a large localization error. Hence, fusing camera with low-cost radar, which provides precise long-range measurement and operates reliably in all environments, is promising but has not yet been thoroughly investigated. In this paper, we propose Camera Radar Net (CRN), a novel camera-radar fusion framework that generates a semantically rich and spatially accurate bird’s-eye-view (BEV) feature map for various tasks. To overcome the lack of spatial information in an image, we transform perspective view image features to BEV with the help of sparse but accurate radar points. We further aggregate image and radar feature maps in BEV using multi-modal deformable attention designed to tackle the spatial misalignment between inputs. CRN with real-time setting operates at 20 FPS while achieving comparable performance to LiDAR detectors on nuScenes, and even outperforms at a far distance on 100m setting. Moreover, CRN with offline setting yields 62.4% NDS, 57.5% mAP on nuScenes test set and ranks first among all camera and camera-radar 3D object detectors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google