VoxelNextFusion: A Simple, Unified and Effective Voxel Fusion Framework for Multi-Modal 3D Object Detection

要約

LiDAR とカメラの融合により、深度を認識した LiDAR ポイントと意味的に豊富な画像の間の補完的な情報を利用することで、3D オブジェクト検出のパフォーマンスを向上させることができます。
既存のボクセルベースの手法は、疎なボクセルの特徴と密な画像の特徴を 1 対 1 で融合する際に大きな課題に直面しており、その結果、意味情報や連続性情報などの画像の利点が失われ、検出パフォーマンスが最適化されません。
特に長距離では。
この論文では、ボクセルベースの方法向けに特別に設計されたマルチモーダル 3D オブジェクト検出フレームワークである VoxelNextFusion を紹介します。これは、まばらな点群と密な画像の間のギャップを効果的に橋渡しします。
特に、点群を画像上に投影してピクセルレベルとパッチレベルの両方の特徴を取得するボクセルベースの画像パイプラインを提案します。
これらの特徴はセルフアテンションを使用して融合され、結合された表現が得られます。
さらに、パッチに存在する背景の特徴の問題に対処するために、前景と背景の特徴を効果的に区別し、背景の特徴の影響を最小限に抑える特徴重要度モジュールを提案します。
広く使用されている KITTI および nuScenes 3D 物体検出ベンチマークに関して広範な実験が行われました。
特に、当社の VoxelNextFusion は、KITTI テスト データセットの Voxel R-CNN ベースラインと比較して、ハード レベルでの自動車検出の AP@0.7 で約 +3.20% の向上を達成しました。

要約(オリジナル)

LiDAR-camera fusion can enhance the performance of 3D object detection by utilizing complementary information between depth-aware LiDAR points and semantically rich images. Existing voxel-based methods face significant challenges when fusing sparse voxel features with dense image features in a one-to-one manner, resulting in the loss of the advantages of images, including semantic and continuity information, leading to sub-optimal detection performance, especially at long distances. In this paper, we present VoxelNextFusion, a multi-modal 3D object detection framework specifically designed for voxel-based methods, which effectively bridges the gap between sparse point clouds and dense images. In particular, we propose a voxel-based image pipeline that involves projecting point clouds onto images to obtain both pixel- and patch-level features. These features are then fused using a self-attention to obtain a combined representation. Moreover, to address the issue of background features present in patches, we propose a feature importance module that effectively distinguishes between foreground and background features, thus minimizing the impact of the background features. Extensive experiments were conducted on the widely used KITTI and nuScenes 3D object detection benchmarks. Notably, our VoxelNextFusion achieved around +3.20% in AP@0.7 improvement for car detection in hard level compared to the Voxel R-CNN baseline on the KITTI test dataset

arxiv情報

提供元, 利用サービス

arxiv.jp, Google