MVFusion: Multi-View 3D Object Detection with Semantic-aligned Radar and Camera Fusion

要約

マルチビュー レーダーとカメラを融合した 3D 物体検出により、特に悪天候下での自動運転により広い検出範囲とより役立つ機能が提供されます。
現在のレーダーとカメラの融合手法は、レーダー情報とカメラ データを融合するためのさまざまな設計を提供します。
ただし、これらの融合アプローチは通常、マルチモーダル機能間の単純な連結操作を採用します。これは、レーダー機能とのセマンティックアラインメントとモーダル間の十分な相関を無視します。
このホワイトペーパーでは、セマンティックアラインされたレーダー機能を実現し、クロスモーダルな情報相互作用を強化するための新しいマルチビューレーダーカメラフュージョン手法である MVFusion を紹介します。
これを実現するために、セマンティック アライメント レーダー エンコーダー (SARE) を介してレーダー フィーチャにセマンティック アライメントを挿入し、画像誘導レーダー フィーチャを生成します。
次に、レーダー誘導融合変換器 (RGFT) を提案して、レーダーと画像の特徴を融合し、クロスアテンション メカニズムを介してグローバル スコープから 2 つのモーダルの相関を強化します。
広範な実験により、MVFusion が nuScenes データセットで最先端のパフォーマンス (51.7% NDS および 45.3% mAP) を達成することが示されています。
公開時にコードとトレーニング済みネットワークをリリースします。

要約(オリジナル)

Multi-view radar-camera fused 3D object detection provides a farther detection range and more helpful features for autonomous driving, especially under adverse weather. The current radar-camera fusion methods deliver kinds of designs to fuse radar information with camera data. However, these fusion approaches usually adopt the straightforward concatenation operation between multi-modal features, which ignores the semantic alignment with radar features and sufficient correlations across modals. In this paper, we present MVFusion, a novel Multi-View radar-camera Fusion method to achieve semantic-aligned radar features and enhance the cross-modal information interaction. To achieve so, we inject the semantic alignment into the radar features via the semantic-aligned radar encoder (SARE) to produce image-guided radar features. Then, we propose the radar-guided fusion transformer (RGFT) to fuse our radar and image features to strengthen the two modals’ correlation from the global scope via the cross-attention mechanism. Extensive experiments show that MVFusion achieves state-of-the-art performance (51.7% NDS and 45.3% mAP) on the nuScenes dataset. We shall release our code and trained networks upon publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google