Sparse2Dense: Learning to Densify 3D Features for 3D Object Detection

要約

LiDAR で生成された点群は、ほとんどの最先端の 3D オブジェクト検出器の主要なソースです。
しかし、ポイントがまばらまたは少ない、小さくて遠くにある不完全なオブジェクトは、多くの場合、検出が困難です。
Sparse2Dense は、潜在空間の点群を高密度化することを学習することで、3D 検出のパフォーマンスを効率的に向上させる新しいフレームワークです。
具体的には、最初に高密度点群を入力として高密度点 3D 検出器 (DDet) をトレーニングし、通常の点群を入力として疎点 3D 検出器 (SDet) を設計します。
重要なことは、軽量プラグイン S2D モジュールと点群再構築モジュールを SDet で定式化して、3D フィーチャを高密度化し、SDet をトレーニングして 3D フィーチャを生成し、DDet の密な 3D フィーチャに従っていることです。
したがって、推論では、SDet は密集した入力を必要とせずに、通常の (疎な) 点群入力から密集した 3D フィーチャをシミュレートできます。
大規模な Waymo Open Dataset と Waymo Domain Adaptation Dataset でこの方法を評価し、最先端技術を超える高いパフォーマンスと効率を示しています。

要約(オリジナル)

LiDAR-produced point clouds are the major source for most state-of-the-art 3D object detectors. Yet, small, distant, and incomplete objects with sparse or few points are often hard to detect. We present Sparse2Dense, a new framework to efficiently boost 3D detection performance by learning to densify point clouds in latent space. Specifically, we first train a dense point 3D detector (DDet) with a dense point cloud as input and design a sparse point 3D detector (SDet) with a regular point cloud as input. Importantly, we formulate the lightweight plug-in S2D module and the point cloud reconstruction module in SDet to densify 3D features and train SDet to produce 3D features, following the dense 3D features in DDet. So, in inference, SDet can simulate dense 3D features from regular (sparse) point cloud inputs without requiring dense inputs. We evaluate our method on the large-scale Waymo Open Dataset and the Waymo Domain Adaptation Dataset, showing its high performance and efficiency over the state of the arts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google