SupFusion: Supervised LiDAR-Camera Fusion for 3D Object Detection

要約

この論文では、SupFusion と呼ばれる新しいトレーニング戦略を提案します。これは、効果的な LiDAR とカメラの融合のための補助機能レベルの監視を提供し、検出パフォーマンスを大幅に向上させます。
私たちの戦略には、ポーラー サンプリングと呼ばれるデータ拡張手法が含まれます。これは、まばらなオブジェクトを高密度化し、アシスタント モデルをトレーニングして、監視として高品質の特徴を生成します。
これらの機能は、LiDAR とカメラの融合モデルのトレーニングに使用され、生成された高品質の機能をシミュレートするために融合機能が最適化されます。
さらに、SupFusion戦略を使用した以前の融合方法と比較して優れたパフォーマンスを継続的に獲得する、シンプルでありながら効果的なディープフュージョンモジュールを提案します。
このように、我々の提案は以下の利点を共有する。
まず、SupFusion は補助的な機能レベルの監視を導入し、追加の推論コストを発生させることなく LiDAR カメラの検出パフォーマンスを向上させることができます。
第二に、提案されている深層核融合により、検出器の能力が継続的に向上する可能性があります。
私たちが提案する SupFusion およびディープ フュージョン モジュールはプラグアンドプレイであり、その有効性を実証するために広範な実験を行っています。
具体的には、複数の LiDAR カメラ 3D 検出器に基づく KITTI ベンチマークで 3D mAP が約 2% 向上しました。

要約(オリジナル)

In this paper, we propose a novel training strategy called SupFusion, which provides an auxiliary feature level supervision for effective LiDAR-Camera fusion and significantly boosts detection performance. Our strategy involves a data enhancement method named Polar Sampling, which densifies sparse objects and trains an assistant model to generate high-quality features as the supervision. These features are then used to train the LiDAR-Camera fusion model, where the fusion feature is optimized to simulate the generated high-quality features. Furthermore, we propose a simple yet effective deep fusion module, which contiguously gains superior performance compared with previous fusion methods with SupFusion strategy. In such a manner, our proposal shares the following advantages. Firstly, SupFusion introduces auxiliary feature-level supervision which could boost LiDAR-Camera detection performance without introducing extra inference costs. Secondly, the proposed deep fusion could continuously improve the detector’s abilities. Our proposed SupFusion and deep fusion module is plug-and-play, we make extensive experiments to demonstrate its effectiveness. Specifically, we gain around 2% 3D mAP improvements on KITTI benchmark based on multiple LiDAR-Camera 3D detectors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google