PillarAcc: Sparse PointPillars Accelerator for Real-Time Point Cloud 3D Object Detection on Edge Devices

要約

点群データを用いた3Dオブジェクト検出は、自律走行知覚パイプラインに不可欠であり、効率的なエンコーディングは厳しいリソース要件とレイテンシ要件を満たすための鍵となります。鳥瞰図（BEV）エンコーディングとして広く採用されているPointPillarsは、3D点群データを2Dピラーに集約し、高精度な3Dオブジェクト検出を実現します。しかし、PointPillarを採用した最先端の手法の多くは、ピラーエンコードに固有のスパース性を見落としており、大幅な計算量削減の機会を逸している。本研究では、スパースコンボリューション処理を高速化し、ピラーベースの3Dオブジェクト検出ネットワークにおけるスパース性を最大限に活用する、画期的なアルゴリズムとハードウェアの協調設計を提案します。我々は、先進的なピラープルーニング法を用いてスパース化の機会を調査し、精度とスパース性の最適なバランスを達成する。PillarAccを導入し、線形複雑度入出力マッピング生成と競合のないギャザースキャッターメモリアクセスによってスパースピラーコンボリューションを強化する最先端のスパース性サポート機構を実現します。さらに、データフロー最適化技術を提案し、多様なスパース性演算の下でハードウェアを最適に利用するために、ピラー処理スケジュールを動的に調整する。PillarAccを様々な最先端の3Dオブジェクト検出ネットワークやベンチマークで評価した結果、代表的なエッジプラットフォームと比較して顕著な高速化と省エネを達成し、精度の妥協を最小限に抑えながら500FPSという記録的なPointPillars速度を実証しています。

要約(オリジナル)

3D object detection using point cloud (PC) data is vital for autonomous driving perception pipelines, where efficient encoding is key to meeting stringent resource and latency requirements. PointPillars, a widely adopted bird’s-eye view (BEV) encoding, aggregates 3D point cloud data into 2D pillars for high-accuracy 3D object detection. However, most state-of-the-art methods employing PointPillar overlook the inherent sparsity of pillar encoding, missing opportunities for significant computational reduction. In this study, we propose a groundbreaking algorithm-hardware co-design that accelerates sparse convolution processing and maximizes sparsity utilization in pillar-based 3D object detection networks. We investigate sparsification opportunities using an advanced pillar-pruning method, achieving an optimal balance between accuracy and sparsity. We introduce PillarAcc, a state-of-the-art sparsity support mechanism that enhances sparse pillar convolution through linear complexity input-output mapping generation and conflict-free gather-scatter memory access. Additionally, we propose dataflow optimization techniques, dynamically adjusting the pillar processing schedule for optimal hardware utilization under diverse sparsity operations. We evaluate PillarAcc on various cutting-edge 3D object detection networks and benchmarks, achieving remarkable speedup and energy savings compared to representative edge platforms, demonstrating record-breaking PointPillars speed of 500FPS with minimal compromise in accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL