Dense Voxel Fusion for 3D Object Detection

要約

カメラと LiDAR センサーのモダリティは、自律走行車アプリケーションの 3D オブジェクトの検出に役立つ補完的な外観と幾何学的情報を提供します。
ただし、現在のエンドツーエンドの融合方法は、最先端の LiDAR のみの検出器をトレーニングし、性能を下回ることは困難です。
シーケンシャル フュージョン法は、点群の希薄性のためにピクセルと点の対応の数が制限されるか、モダリティの 1 つの検出によってパフォーマンスが厳密に制限されます。
私たちが提案するソリューションである Dense Voxel Fusion (DVF) は、マルチスケールの高密度ボクセル特徴表現を生成する順次融合法であり、低点密度領域の表現力を向上させます。
マルチモーダル学習を強化するために、投影されたグラウンド トゥルース 3D バウンディング ボックス ラベルを使用して直接トレーニングし、ノイズの多い検出器固有の 2D 予測を回避します。
DVF とマルチモーダル トレーニング アプローチの両方を、任意のボクセル ベースの LiDAR バックボーンに適用できます。
DVF は、追加のトレーニング可能なパラメーターを導入せず、ステレオ画像や高密度の深度ラベルを必要とせずに、KITTI 3D 車検出ベンチマークで公開されている融合手法の中で 3 位にランクされています。
さらに、DVF は、Waymo Open Dataset でのボクセルベースの方法の 3D 車両検出パフォーマンスを大幅に向上させます。

要約(オリジナル)

Camera and LiDAR sensor modalities provide complementary appearance and geometric information useful for detecting 3D objects for autonomous vehicle applications. However, current end-to-end fusion methods are challenging to train and underperform state-of-the-art LiDAR-only detectors. Sequential fusion methods suffer from a limited number of pixel and point correspondences due to point cloud sparsity, or their performance is strictly capped by the detections of one of the modalities. Our proposed solution, Dense Voxel Fusion (DVF) is a sequential fusion method that generates multi-scale dense voxel feature representations, improving expressiveness in low point density regions. To enhance multi-modal learning, we train directly with projected ground truth 3D bounding box labels, avoiding noisy, detector-specific 2D predictions. Both DVF and the multi-modal training approach can be applied to any voxel-based LiDAR backbone. DVF ranks 3rd among published fusion methods on KITTI 3D car detection benchmark without introducing additional trainable parameters, nor requiring stereo images or dense depth labels. In addition, DVF significantly improves 3D vehicle detection performance of voxel-based methods on the Waymo Open Dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google