On Offline Evaluation of 3D Object Detection for Autonomous Driving

要約

3D 物体検出におけるこれまでの研究では、下流の駆動タスクの閉ループ オンライン評価はコストがかかるため、平均精度などのオフライン メトリクスを使用してモデルを評価していました。
ただし、オフラインの結果が運転パフォーマンスをどのように示すかは不明です。
この研究では、検出器が完全な自動運転スタックに統合されている場合に、さまざまな検出メトリクスが運転パフォーマンスをどのように予測するかを測定する最初の経験的評価を実行します。
私たちは、16 個の物体検出モデルを使用して、CARLA シミュレーターで都市部の運転に関する広範な実験を実施しています。
nuScenes 検出スコアは、広く使用されている平均精度指標よりも運転パフォーマンスとの相関が高いことがわかりました。
さらに、私たちの結果は、新興クラスの「プランナー中心」の指標に独占的に依存することに注意を呼びかけています。

要約(オリジナル)

Prior work in 3D object detection evaluates models using offline metrics like average precision since closed-loop online evaluation on the downstream driving task is costly. However, it is unclear how indicative offline results are of driving performance. In this work, we perform the first empirical evaluation measuring how predictive different detection metrics are of driving performance when detectors are integrated into a full self-driving stack. We conduct extensive experiments on urban driving in the CARLA simulator using 16 object detection models. We find that the nuScenes Detection Score has a higher correlation to driving performance than the widely used average precision metric. In addition, our results call for caution on the exclusive reliance on the emerging class of `planner-centric’ metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google