Toward Accurate Camera-based 3D Object Detection via Cascade Depth Estimation and Calibration

要約

最近のカメラベースの 3D オブジェクト検出は、画像から 3D 特徴空間への変換の精度と、3D 空間内でのオブジェクトの位置特定の精度によって制限されます。
この論文は、カメラベースの 3D オブジェクト検出の基本的な問題、つまり正確な特徴リフティングとオブジェクト位置特定のために深度情報を効果的に学習する方法に取り組むことを目的としています。
教師あり推定モデルを使用して深度分布を直接予測する以前の方法とは異なり、2 つの深度を意識した学習パラダイムで構成されるカスケード フレームワークを提案します。
まず、奥行き推定 (DE) スキームは相対的な奥行き情報を利用して、2D 空間から 3D 空間への効果的な特徴のリフティングを実現します。
さらに、深度キャリブレーション (DC) スキームにより深度再構成が導入され、深度軸に沿った 3D オブジェクトの位置特定の摂動がさらに調整されます。
実際には、DE は深度予測の精度を向上させるために絶対および相対深度最適化損失の両方を使用することによって明示的に実現されますが、DC の機能はトレーニング段階の深度ノイズ除去メカニズムを通じて暗黙的に検出 Transformer に組み込まれます。
モデル全体のトレーニングはエンドツーエンドの方法で実行されます。
私たちはベースライン検出器を提案し、NuScenes ベンチマークで +2.2%/+2.7% NDS/mAP の改善により提案の有効性を評価し、55.9%/45.7% NDS/mAP で同等のパフォーマンスを獲得しました。
さらに、NDS が約 +2% 改善されたさまざまな検出器に基づいて、その汎用性を実証するために広範な実験を実施しています。

要約(オリジナル)

Recent camera-based 3D object detection is limited by the precision of transforming from image to 3D feature spaces, as well as the accuracy of object localization within the 3D space. This paper aims to address such a fundamental problem of camera-based 3D object detection: How to effectively learn depth information for accurate feature lifting and object localization. Different from previous methods which directly predict depth distributions by using a supervised estimation model, we propose a cascade framework consisting of two depth-aware learning paradigms. First, a depth estimation (DE) scheme leverages relative depth information to realize the effective feature lifting from 2D to 3D spaces. Furthermore, a depth calibration (DC) scheme introduces depth reconstruction to further adjust the 3D object localization perturbation along the depth axis. In practice, the DE is explicitly realized by using both the absolute and relative depth optimization loss to promote the precision of depth prediction, while the capability of DC is implicitly embedded into the detection Transformer through a depth denoising mechanism in the training phase. The entire model training is accomplished through an end-to-end manner. We propose a baseline detector and evaluate the effectiveness of our proposal with +2.2%/+2.7% NDS/mAP improvements on NuScenes benchmark, and gain a comparable performance with 55.9%/45.7% NDS/mAP. Furthermore, we conduct extensive experiments to demonstrate its generality based on various detectors with about +2% NDS improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google