MVCTrack: Boosting 3D Point Cloud Tracking via Multimodal-Guided Virtual Cues

要約

3Dシングルオブジェクトトラッキングは、自律運転とロボット工学に不可欠です。
既存の方法は、多くの場合、まばらで不完全なポイントクラウドシナリオに苦しんでいます。
これらの制限に対処するために、スパースポイントクラウドを濃縮する仮想キューを生成するマルチモーダル誘導仮想キュープロジェクション（MVCP）スキームを提案します。
さらに、生成された仮想キューに基づいて、強化されたトラッカーMVCTrackを導入します。
具体的には、MVCPスキームはRGBセンサーをLIDARベースのシステムにシームレスに統合し、一連の2D検出を活用して、ポイントクラウドのスパース性を大幅に改善する密な3D仮想キューを作成します。
これらの仮想キューは、既存のLIDARベースの3Dトラッカーと自然に統合でき、実質的なパフォーマンスの向上をもたらします。
広範な実験は、我々の方法がヌスセンデータセットで競争力のあるパフォーマンスを達成することを示しています。

要約(オリジナル)

3D single object tracking is essential in autonomous driving and robotics. Existing methods often struggle with sparse and incomplete point cloud scenarios. To address these limitations, we propose a Multimodal-guided Virtual Cues Projection (MVCP) scheme that generates virtual cues to enrich sparse point clouds. Additionally, we introduce an enhanced tracker MVCTrack based on the generated virtual cues. Specifically, the MVCP scheme seamlessly integrates RGB sensors into LiDAR-based systems, leveraging a set of 2D detections to create dense 3D virtual cues that significantly improve the sparsity of point clouds. These virtual cues can naturally integrate with existing LiDAR-based 3D trackers, yielding substantial performance gains. Extensive experiments demonstrate that our method achieves competitive performance on the NuScenes dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google