CRAFT: Camera-Radar 3D Object Detection with Spatio-Contextual Fusion Transformer

要約

カメラおよびレーダー センサーは、LiDAR と比較して、コスト、信頼性、およびメンテナンスの面で大きな利点があります。
既存の融合方法は、単一モダリティの出力を結果レベルで融合することが多く、後期融合戦略と呼ばれます。
これは、市販の単一センサー検出アルゴリズムを使用することでメリットが得られますが、後期融合ではセンサーの補完的な特性を十分に活用できないため、カメラとレーダーの融合の大きな可能性にもかかわらず、パフォーマンスが制限されます。
ここでは、3D オブジェクト検出のためにカメラとレーダーの空間特性とコンテキスト特性の両方を効果的に活用する、新しい提案レベルの早期融合アプローチを提案します。
私たちの融合フレームワークは、最初に画像提案を極座標系のレーダー ポイントに関連付けて、座標系と空間プロパティの間の不一致を効率的に処理します。
これを第 1 段階として使用すると、次の連続するクロスアテンション ベースのフィーチャ フュージョン レイヤーが、カメラとレーダーの間で空間コンテキスト情報を適応的に交換し、堅牢で注意深いフュージョンにつながります。
当社のカメラ レーダー フュージョン アプローチは、nuScenes テスト セットで最先端の 41.1% mAP および 52.3% NDS を達成します。これは、カメラのみのベースラインよりも 8.7 ポイントおよび 10.8 ポイント高く、
LiDAR方式。

要約(オリジナル)

Camera and radar sensors have significant advantages in cost, reliability, and maintenance compared to LiDAR. Existing fusion methods often fuse the outputs of single modalities at the result-level, called the late fusion strategy. This can benefit from using off-the-shelf single sensor detection algorithms, but late fusion cannot fully exploit the complementary properties of sensors, thus having limited performance despite the huge potential of camera-radar fusion. Here we propose a novel proposal-level early fusion approach that effectively exploits both spatial and contextual properties of camera and radar for 3D object detection. Our fusion framework first associates image proposal with radar points in the polar coordinate system to efficiently handle the discrepancy between the coordinate system and spatial properties. Using this as a first stage, following consecutive cross-attention based feature fusion layers adaptively exchange spatio-contextual information between camera and radar, leading to a robust and attentive fusion. Our camera-radar fusion approach achieves the state-of-the-art 41.1% mAP and 52.3% NDS on the nuScenes test set, which is 8.7 and 10.8 points higher than the camera-only baseline, as well as yielding competitive performance on the LiDAR method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google