Boosting 3D Object Detection with Semantic-Aware Multi-Branch Framework

要約

自動運転では、LiDAR センサーは 3D 点群を取得し、信頼性の高い幾何学的情報を提供するために不可欠です。
ただし、前処理の従来のサンプリング方法では意味論的な特徴が無視されることが多く、3D オブジェクト検出における詳細の損失や接地点の干渉が発生します。
これに対処するために、セマンティックを意識したマルチブランチ サンプリング (SMS) モジュールとマルチビューの一貫性制約を使用した、マルチブランチ 2 段階の 3D オブジェクト検出フレームワークを提案します。
SMS モジュールには、ランダム サンプリング、遠くの物体を強調するための密度等化サンプリング (DES)、および非地上点に焦点を当てるための地上放棄サンプリング (GAS) が含まれています。
サンプリングされたマルチビュー ポイントは、一貫したキーポイント選択 (CKPS) モジュールを通じて処理され、効率的な提案サンプリングのために一貫したキーポイント マスクが生成されます。
第 1 段階の検出器は、特徴集約のためにマルチビューの一貫性損失を伴うマルチブランチ並列学習を使用します。一方、第 2 段階の検出器は、マルチビュー フュージョン プーリング (MVFP) モジュールを通じてマルチビュー データを融合して、3D オブジェクトを正確に予測します。
KITTIデータセットとWaymoオープンデータセットの実験結果は、私たちの方法がさまざまなバックボーン、特に単純なネットワーク構造の低パフォーマンスのバックボーンに対して優れた検出パフォーマンスの向上を達成することを示しています。

要約(オリジナル)

In autonomous driving, LiDAR sensors are vital for acquiring 3D point clouds, providing reliable geometric information. However, traditional sampling methods of preprocessing often ignore semantic features, leading to detail loss and ground point interference in 3D object detection. To address this, we propose a multi-branch two-stage 3D object detection framework using a Semantic-aware Multi-branch Sampling (SMS) module and multi-view consistency constraints. The SMS module includes random sampling, Density Equalization Sampling (DES) for enhancing distant objects, and Ground Abandonment Sampling (GAS) to focus on non-ground points. The sampled multi-view points are processed through a Consistent KeyPoint Selection (CKPS) module to generate consistent keypoint masks for efficient proposal sampling. The first-stage detector uses multi-branch parallel learning with multi-view consistency loss for feature aggregation, while the second-stage detector fuses multi-view data through a Multi-View Fusion Pooling (MVFP) module to precisely predict 3D objects. The experimental results on the KITTI dataset and Waymo Open Dataset show that our method achieves excellent detection performance improvement for a variety of backbones, especially for low-performance backbones with the simple network structures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google