EA-BEV: Edge-aware Bird’ s-Eye-View Projector for 3D Object Detection

要約

タイトル：EA-BEV: 3D物体検出のためのエッジアウェアバードアイビュープロジェクター

要約：
– LSSベースの3D物体検出手法は、2Dカメラビューと3D LiDARビューの特徴をバードアイビュー（BEV）に変換して特徴融合を行うために大きな進展が見られている。
– しかし、不正確な深度推定（深度ジャンプ問題など）はLSSベースの手法を開発する上での障害となっている。
– そこで、我々はエッジアウェアバードアイビュー（EA-BEV）プロジェクターを提案し、その深度融合モジュールと深度推定モジュールを結合することで深度ジャンプ問題を解決し、深度の精度を向上させる。
– さらに、グローバル深度とローカルマージナル深度情報を学習するための疎な深度監視および勾配エッジ深度監視を提案している。
– EA-BEVプロジェクターは、どのLSSベースの3D物体検出モデルにもプラグ＆プレイでき、ベンチマークでの基準性能を劇的に改善することができる。
– nuScenesベンチマークで効果をデモンストレーションし、提案されたEA-BEVプロジェクターは、nuScenes 3D物体検出ベンチマークとnuScenes BEVマップセグメンテーションベンチマークのいくつかの最先端のLLSベースラインを改善することができる。推論時間の増加はほとんどない。

要約(オリジナル)

In recent years, great progress has been made in the Lift-Splat-Shot-based (LSS-based) 3D object detection method, which converts features of 2D camera view and 3D lidar view to Bird’s-Eye-View (BEV) for feature fusion. However, inaccurate depth estimation (e.g. the ‘depth jump’ problem) is an obstacle to develop LSS-based methods. To alleviate the ‘depth jump’ problem, we proposed Edge-Aware Bird’s-Eye-View (EA-BEV) projector. By coupling proposed edge-aware depth fusion module and depth estimate module, the proposed EA-BEV projector solves the problem and enforces refined supervision on depth. Besides, we propose sparse depth supervision and gradient edge depth supervision, for constraining learning on global depth and local marginal depth information. Our EA-BEV projector is a plug-and-play module for any LSS-based 3D object detection models, and effectively improves the baseline performance. We demonstrate the effectiveness on the nuScenes benchmark. On the nuScenes 3D object detection validation dataset, our proposed EA-BEV projector can boost several state-of-the-art LLS-based baselines on nuScenes 3D object detection benchmark and nuScenes BEV map segmentation benchmark with negligible increment of inference time.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI