VirtualPainting: Addressing Sparsity with Virtual Points and Distance-Aware Data Augmentation for 3D Object Detection

要約

最近では、生の LiDAR 点群をカメラ由来の機能で装飾して物体検出パフォーマンスを向上させるマルチモーダルなアプローチが顕著に増加しています。
ただし、主に、まばらに分散したオブジェクトに対してカメラ由来の特徴で強化されるポイントが少ないため、これらの方法でも LiDAR 点群データの固有のまばらさに依然として対処していることがわかりました。
我々は、カメラ画像を使用した仮想 LiDAR ポイントの生成と、画像ベースのセグメンテーション ネットワークから取得したセマンティック ラベルでこれらの仮想ポイントを強化する革新的なアプローチを提案します。これにより、この問題に取り組み、まばらに分散したオブジェクト、特に遮蔽されたオブジェクトや遮蔽されたオブジェクトの検出を容易にします。
遠い。
さらに、距離認識データ拡張 (DADA) 技術を統合し、特殊なトレーニング サンプルを生成することで、これらのまばらに分散したオブジェクトを認識するモデルの機能を強化します。
私たちのアプローチは、さまざまな 3D フレームワークや 2D セマンティック セグメンテーション手法にシームレスに統合できる多用途のソリューションを提供し、その結果、全体的な検出精度が大幅に向上します。
KITTI および nuScenes データセットの評価により、3D および鳥瞰図 (BEV) 検出ベンチマークの両方が大幅に強化されていることが実証されました

要約(オリジナル)

In recent times, there has been a notable surge in multimodal approaches that decorates raw LiDAR point clouds with camera-derived features to improve object detection performance. However, we found that these methods still grapple with the inherent sparsity of LiDAR point cloud data, primarily because fewer points are enriched with camera-derived features for sparsely distributed objects. We present an innovative approach that involves the generation of virtual LiDAR points using camera images and enhancing these virtual points with semantic labels obtained from image-based segmentation networks to tackle this issue and facilitate the detection of sparsely distributed objects, particularly those that are occluded or distant. Furthermore, we integrate a distance aware data augmentation (DADA) technique to enhance the models capability to recognize these sparsely distributed objects by generating specialized training samples. Our approach offers a versatile solution that can be seamlessly integrated into various 3D frameworks and 2D semantic segmentation methods, resulting in significantly improved overall detection accuracy. Evaluation on the KITTI and nuScenes datasets demonstrates substantial enhancements in both 3D and birds eye view (BEV) detection benchmarks

arxiv情報

提供元, 利用サービス

arxiv.jp, Google