BEVDepth: Acquisition of Reliable Depth for Multi-view 3D Object Detection

要約

この研究では、カメラベースの鳥瞰図 (BEV) 3D オブジェクト検出のために、BEVDepth と呼ばれる信頼できる深度推定を備えた新しい 3D オブジェクト検出器を提案します。
私たちの研究は重要な観察に基づいています。カメラの 3D 検出には深度が不可欠であるという事実を考えると、最近のアプローチでの深度推定は驚くほど不十分です。
当社の BEVDepth は、明示的な深度監視を活用することでこれを解決します。
深度予測機能を容易にするために、カメラ認識深度推定モジュールも導入されています。
さらに、不正確な機能の非投影によってもたらされる副作用に対抗するために、新しい深度調整モジュールを設計します。
カスタマイズされた Efficient Voxel Pooling とマルチフレーム メカニズムにより、BEVDepth は、高い効率を維持しながら、挑戦的な nuScenes テスト セットで新しい最先端の 60.9% NDS を達成します。
初めて、カメラ モデルの NDS スコアが 60% に達しました。

要約(オリジナル)

In this research, we propose a new 3D object detector with a trustworthy depth estimation, dubbed BEVDepth, for camera-based Bird’s-Eye-View (BEV) 3D object detection. Our work is based on a key observation — depth estimation in recent approaches is surprisingly inadequate given the fact that depth is essential to camera 3D detection. Our BEVDepth resolves this by leveraging explicit depth supervision. A camera-awareness depth estimation module is also introduced to facilitate the depth predicting capability. Besides, we design a novel Depth Refinement Module to counter the side effects carried by imprecise feature unprojection. Aided by customized Efficient Voxel Pooling and multi-frame mechanism, BEVDepth achieves the new state-of-the-art 60.9% NDS on the challenging nuScenes test set while maintaining high efficiency. For the first time, the NDS score of a camera model reaches 60%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google