GMM: Delving into Gradient Aware and Model Perceive Depth Mining for Monocular 3D Detection

要約

奥行き知覚は、通常不適切な問題を伴う単眼 3D 検出タスクの重要な要素です。
2D オブジェクト検出におけるサンプル マイニング技術の成功を考慮して、3D オブジェクト検出における奥行き知覚を改善するためのシンプルかつ効果的なマイニング戦略を提案します。
具体的には、深度予測の品質を評価するための単純なメトリクスを導入し、モデルのマイニングされたサンプルを選択します。
さらに、深層学習のための勾配認識型およびモデル認識マイニング戦略 (GMM) を提案します。これは、予測された深度品質を利用して、簡単なマイニングを通じてより優れた深層学習を実現します。
GMM は、いくつかの最先端の単眼 3D 検出器に容易に適用できる一般的な戦略であり、深度予測の精度を向上させます。
nuScenes データセットに対する広範な実験により、提案された方法が 3D オブジェクト検出のパフォーマンスを大幅に向上させ、他の最先端のサンプル マイニング技術を大幅に上回ることが実証されました。
nuScenes ベンチマークでは、GMM は単眼物体検出において最先端のパフォーマンス (mAP 42.1% および NDS 47.3%) を達成しました。

要約(オリジナル)

Depth perception is a crucial component of monoc-ular 3D detection tasks that typically involve ill-posed problems. In light of the success of sample mining techniques in 2D object detection, we propose a simple yet effective mining strategy for improving depth perception in 3D object detection. Concretely, we introduce a plain metric to evaluate the quality of depth predictions, which chooses the mined sample for the model. Moreover, we propose a Gradient-aware and Model-perceive Mining strategy (GMM) for depth learning, which exploits the predicted depth quality for better depth learning through easy mining. GMM is a general strategy that can be readily applied to several state-of-the-art monocular 3D detectors, improving the accuracy of depth prediction. Extensive experiments on the nuScenes dataset demonstrate that the proposed methods significantly improve the performance of 3D object detection while outperforming other state-of-the-art sample mining techniques by a considerable margin. On the nuScenes benchmark, GMM achieved the state-of-the-art (42.1% mAP and 47.3% NDS) performance in monocular object detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google