EA-BEV: Edge-aware Bird’ s-Eye-View Projector for 3D Object Detection

要約

タイトル：EA-BEV：3Dオブジェクト検出のためのエッジ感知バードアイビュープロジェクター

要約：
– LSSベースの3Dオブジェクト検出方法は、2Dカメラビューと3D LiDARビューの特徴をバードアイビュー（BEV）に変換することで、大きな進展があった。
– しかし、精度の低い深度推定（「深度ジャンプ」問題など）がLSSベースの方法の発展に障害を引き起こす。
– この問題を緩和するために、提案されたEA-BEVプロジェクターは、提案されたエッジ感知深度融合モジュールと深度推定モジュールを結合することで問題を解決し、深度に対して洗練された監視を強制する。
– さらに、グローバルな深度とローカルなマージナル深度情報の学習を制約するために、スパース深度監視と勾配エッジ深度監視を提案する。
– 提案されたEA-BEVプロジェクターは、任意のLSSベースの3Dオブジェクト検出モデルのプラグアンドプレイモジュールであり、ベースラインの性能を効果的に向上させる。
– 我々は、nuScenesベンチマークでその有効性を示す。nuScenes 3Dオブジェクト検出検証データセットでは、提案されたEA-BEVプロジェクターが時間のほとんど増加せず、nuScenes 3Dオブジェクト検出ベンチマークおよびnuScenes BEVマップセグメンテーションベンチマークでいくつかの最先端のLSSベースラインを向上させることができる。

要約(オリジナル)

In recent years, great progress has been made in the Lift-Splat-Shot-based (LSS-based) 3D object detection method, which converts features of 2D camera view and 3D lidar view to Bird’s-Eye-View (BEV) for feature fusion. However, inaccurate depth estimation (e.g. the ‘depth jump’ problem) is an obstacle to develop LSS-based methods. To alleviate the ‘depth jump’ problem, we proposed Edge-Aware Bird’s-Eye-View (EA-BEV) projector. By coupling proposed edge-aware depth fusion module and depth estimate module, the proposed EA-BEV projector solves the problem and enforces refined supervision on depth. Besides, we propose sparse depth supervision and gradient edge depth supervision, for constraining learning on global depth and local marginal depth information. Our EA-BEV projector is a plug-and-play module for any LSS-based 3D object detection models, and effectively improves the baseline performance. We demonstrate the effectiveness on the nuScenes benchmark. On the nuScenes 3D object detection validation dataset, our proposed EA-BEV projector can boost several state-of-the-art LLS-based baselines on nuScenes 3D object detection benchmark and nuScenes BEV map segmentation benchmark with negligible increment of inference time.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI