FastPillars: A Deployment-friendly Pillar-based 3D Detector

要約

3D 検出器の導入は、現実世界の自動運転シナリオにおいて大きな課題の 1 つに直面します。
既存の BEV ベース (つまり、バード アイ ビュー) 検出器は、トレーニングと推論を高速化するためにスパース畳み込み (SPConv として知られる) を優先しており、特にオンデバイス アプリケーションの場合、導入に厳しい障壁となっています。
この論文では、業界の観点から効率的な 3D オブジェクト検出の課題に取り組むために、FastPillars と呼ばれる導入しやすい柱ベースの 3D 検出器を考案しました。
まず、特に小さな 3D オブジェクトを強化するための、新しい軽量の Max-and-Attention Pillar Encoding (MAPE) モジュールを紹介します。
次に、柱ベースの 3D 検出におけるバックボーンを設計するための、シンプルかつ効果的な原理を提案します。
これらの設計に基づいて FastPillars を構築し、SPConv を使用せずに高いパフォーマンスと低遅延を実現します。
2 つの大規模データセットに対する広範な実験により、パフォーマンスと速度の両方に関して、オンデバイス 3D 検出における FastPillars の有効性と効率性が実証されました。
具体的には、FastPillars は Waymo Open Dataset で最先端の精度を実現し、CenterPoint (SPConv ベース) と比較して 1.8 倍の速度向上と 3.8 mAPH/L2 の向上を実現します。
私たちのコードは https://github.com/StiphyJay/FastPillars で公開されています。

要約(オリジナル)

The deployment of 3D detectors strikes one of the major challenges in real-world self-driving scenarios. Existing BEV-based (i.e., Bird Eye View) detectors favor sparse convolutions (known as SPConv) to speed up training and inference, which puts a hard barrier for deployment, especially for on-device applications. In this paper, to tackle the challenge of efficient 3D object detection from an industry perspective, we devise a deployment-friendly pillar-based 3D detector, termed FastPillars. First, we introduce a novel lightweight Max-and-Attention Pillar Encoding (MAPE) module specially for enhancing small 3D objects. Second, we propose a simple yet effective principle for designing a backbone in pillar-based 3D detection. We construct FastPillars based on these designs, achieving high performance and low latency without SPConv. Extensive experiments on two large-scale datasets demonstrate the effectiveness and efficiency of FastPillars for on-device 3D detection regarding both performance and speed. Specifically, FastPillars delivers state-of-the-art accuracy on Waymo Open Dataset with 1.8X speed up and 3.8 mAPH/L2 improvement over CenterPoint (SPConv-based). Our code is publicly available at: https://github.com/StiphyJay/FastPillars.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google