BSH-Det3D: Improving 3D Object Detection with BEV Shape Heatmap

要約

LiDARを用いた3次元物体検出の進歩は、自律走行やロボット工学の発展に大きく寄与しています。しかし、LiDARセンサーの限界により、オブジェクトの形状は、オクルードや遠くの領域で悪化し、3D知覚に根本的な課題を生じさせる。既存の方法は、特定の3D形状を推定し、顕著な性能を達成しています。しかし、これらの方法は膨大な計算とメモリに依存しており、精度とリアルタイム性能の間に不均衡が生じる。この課題に取り組むため、我々は、鳥瞰図（BEV）から完全な形状を推定することによって空間的特徴を強化する効果的な方法を適用する、BSH-Det3Dという新しいLiDARベースの3Dオブジェクト検出モデルを提案します。具体的には、柱にオブジェクト形状が含まれているかどうかの占有確率を予測する、柱ベースの形状補完（PSC）モジュールを設計します。PSCモジュールは、各シーンに対してBEV形状ヒートマップを生成する。ヒートマップと統合した後、BSH-Det3Dは形状劣化領域における追加情報を提供し、高品質の3Dプロポーザルを生成することができる。また、疎な特徴量をヒートマップや生ポイントと適応的に関連付けるために、注意に基づく高密度化融合モジュール（ADF）を設計する。ADFモジュールは、点と形状の知識の利点を無視できるオーバーヘッドで統合する。KITTIベンチマークを用いた広範な実験により、精度と速度の点で最先端（SOTA）の性能を達成し、BSH-Det3Dの効率性と柔軟性を実証しています。ソースコードは https://github.com/mystorm16/BSH-Det3D で公開されています。

要約(オリジナル)

The progress of LiDAR-based 3D object detection has significantly enhanced developments in autonomous driving and robotics. However, due to the limitations of LiDAR sensors, object shapes suffer from deterioration in occluded and distant areas, which creates a fundamental challenge to 3D perception. Existing methods estimate specific 3D shapes and achieve remarkable performance. However, these methods rely on extensive computation and memory, causing imbalances between accuracy and real-time performance. To tackle this challenge, we propose a novel LiDAR-based 3D object detection model named BSH-Det3D, which applies an effective way to enhance spatial features by estimating complete shapes from a bird’s eye view (BEV). Specifically, we design the Pillar-based Shape Completion (PSC) module to predict the probability of occupancy whether a pillar contains object shapes. The PSC module generates a BEV shape heatmap for each scene. After integrating with heatmaps, BSH-Det3D can provide additional information in shape deterioration areas and generate high-quality 3D proposals. We also design an attention-based densification fusion module (ADF) to adaptively associate the sparse features with heatmaps and raw points. The ADF module integrates the advantages of points and shapes knowledge with negligible overheads. Extensive experiments on the KITTI benchmark achieve state-of-the-art (SOTA) performance in terms of accuracy and speed, demonstrating the efficiency and flexibility of BSH-Det3D. The source code is available on https://github.com/mystorm16/BSH-Det3D.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL