MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection

要約

この論文では、高性能クロスモーダル 3D オブジェクト DETection のための、MLF-DET と名付けられた、新しく効果的なマルチレベル フュージョン ネットワークを提案します。このネットワークは、特徴レベルの融合と決定レベルの融合の両方を統合して、
画像の情報。
特徴レベルの融合については、マルチスケール ボクセル特徴を画像特徴と密に位置合わせするマルチスケール ボクセル画像融合 (MVI) モジュールを紹介します。
意思決定レベルの融合については、画像セマンティクスをさらに活用して検出候補の信頼性を修正する軽量の機能手がかり信頼性修正 (FCR) モジュールを提案します。
さらに、Occlusion-aware GT Sampling (OGS) と呼ばれる効果的なデータ拡張戦略を設計し、トレーニング シーンでより多くのサンプリングされたオブジェクトを予約し、過剰適合を軽減します。
KITTI データセットに対する広範な実験により、私たちの方法の有効性が実証されました。
特に、非常に競争力の高い KITTI 自動車 3D 物体検出ベンチマークでは、私たちの方法は 82.89% の中程度の AP に達し、追加機能なしで最先端のパフォーマンスを達成しています。

要約(オリジナル)

In this paper, we propose a novel and effective Multi-Level Fusion network, named as MLF-DET, for high-performance cross-modal 3D object DETection, which integrates both the feature-level fusion and decision-level fusion to fully utilize the information in the image. For the feature-level fusion, we present the Multi-scale Voxel Image fusion (MVI) module, which densely aligns multi-scale voxel features with image features. For the decision-level fusion, we propose the lightweight Feature-cued Confidence Rectification (FCR) module which further exploits image semantics to rectify the confidence of detection candidates. Besides, we design an effective data augmentation strategy termed Occlusion-aware GT Sampling (OGS) to reserve more sampled objects in the training scenes, so as to reduce overfitting. Extensive experiments on the KITTI dataset demonstrate the effectiveness of our method. Notably, on the extremely competitive KITTI car 3D object detection benchmark, our method reaches 82.89% moderate AP and achieves state-of-the-art performance without bells and whistles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google