FastPillars: A Deployment-friendly Pillar-based 3D Detector

要約

3D検出器の導入は、実世界の自動運転シナリオにおける大きな課題の一つです。既存のBEVベース（Bird Eye View）検出器は、学習と推論を高速化するためにスパースコンボリューション（SPConvとして知られている）を支持しており、特にオンデバイスアプリケーションへの展開には難しい障壁がある。本論文では、LiDAR点群からの効率的な3D物体検出の問題に取り組み、配置を考慮した。本論文では、LiDAR点群からの3次元物体検出を効率的に行うために、ピラーを用いた高性能な3次元検出器（FastPillars）を提案する。従来手法と比較して、より効果的なMax-and-Attention pillar encoding (MAPE) モジュールを導入し、Cross Stage Partial network (CSP) を組み込んだ強力かつ軽量なバックボーンCRVNetを再パラメータ化し、小型特徴表現のフレームワークを形成している。FastPillarsは、多くの実験により、デバイス上で動作する速度や性能の面で、最先端の3D検出器を凌駕することを実証しています。特に、FastPillarsはTensorRTを介して効果的に配置することができ、nuScenesテストセットにおいて64.6mAPのシングルRTX3070Ti GPUでリアルタイム性能（24FPS）を得ることができます。我々のコードは、https://github.com/StiphyJay/FastPillars で公開されています。

要約(オリジナル)

The deployment of 3D detectors strikes one of the major challenges in real-world self-driving scenarios. Existing BEV-based (i.e., Bird Eye View) detectors favor sparse convolution (known as SPConv) to speed up training and inference, which puts a hard barrier for deployment especially for on-device applications. In this paper, we tackle the problem of efficient 3D object detection from LiDAR point clouds with deployment in mind. To reduce computational burden, we propose a pillar-based 3D detector with high performance from an industry perspective, termed FastPillars. Compared with previous methods, we introduce a more effective Max-and-Attention pillar encoding (MAPE) module, and redesigning a powerful and lightweight backbone CRVNet imbued with Cross Stage Partial network (CSP) in a reparameterization style, forming a compact feature representation framework. Extensive experiments demonstrate that our FastPillars surpasses the state-of-the-art 3D detectors regarding both on-device speed and performance. Specifically, FastPillars can be effectively deployed through TensorRT, obtaining real-time performance (24FPS) on a single RTX3070Ti GPU with 64.6 mAP on the nuScenes test set. Our code is publicly available at: https://github.com/StiphyJay/FastPillars.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL