MS23D: : A 3D Object Detection Method Using Multi-Scale Semantic Feature Points to Construct 3D Feature Layer

要約

LiDAR 点群は、3 次元空間内のオブジェクトの動きと姿勢を効果的に描写できます。
多くの研究では、点群をボクセル化することで 3D オブジェクトの検出を実現しています。
ただし、自動運転シナリオでは、点群のまばらさと中空性により、ボクセルベースの方法にはいくつかの困難が生じます。
点群がまばらであるため、オブジェクトの幾何学的特徴を記述することが困難になります。
点群の中空性により、3D フィーチャの集約が困難になります。
我々は、MS23D と呼ばれる 2 段階の 3D オブジェクト検出フレームワークを提案します。
(1) マルチブランチからのボクセル特徴点を使用して 3D 特徴層を構築する方法を提案します。
さまざまなブランチからのボクセル特徴点を使用して、豊富なセマンティック特徴を備えた比較的コンパクトな 3D フィーチャ レイヤーを構築します。
さらに、ダウンサンプリングによる前景ポイントの損失を軽減し、3D フィーチャ レイヤーがより多くの前景ポイントを保持できるようにする、距離加重サンプリング方法を提案します。
(2) 点群の中空に応じて、深層特徴点とオブジェクトの重心の間のオフセットを予測し、それらをオブジェクトの重心に可能な限り近づけます。
これにより、豊富な意味論的特徴を備えたこれらの特徴点の集約が可能になります。
浅いレベルからの特徴点の場合、オブジェクトの幾何学的特徴を記述するためにそれらをオブジェクトの表面上に保持します。
私たちのアプローチを検証するために、KITTI と ONCE データセットの両方でその有効性を評価しました。

要約(オリジナル)

LiDAR point clouds can effectively depict the motion and posture of objects in three-dimensional space. Many studies accomplish the 3D object detection by voxelizing point clouds. However, in autonomous driving scenarios, the sparsity and hollowness of point clouds create some difficulties for voxel-based methods. The sparsity of point clouds makes it challenging to describe the geometric features of objects. The hollowness of point clouds poses difficulties for the aggregation of 3D features. We propose a two-stage 3D object detection framework, called MS23D. (1) We propose a method using voxel feature points from multi-branch to construct the 3D feature layer. Using voxel feature points from different branches, we construct a relatively compact 3D feature layer with rich semantic features. Additionally, we propose a distance-weighted sampling method, reducing the loss of foreground points caused by downsampling and allowing the 3D feature layer to retain more foreground points. (2) In response to the hollowness of point clouds, we predict the offsets between deep-level feature points and the object’s centroid, making them as close as possible to the object’s centroid. This enables the aggregation of these feature points with abundant semantic features. For feature points from shallow-level, we retain them on the object’s surface to describe the geometric features of the object. To validate our approach, we evaluated its effectiveness on both the KITTI and ONCE datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google