MVCTrack: Boosting 3D Point Cloud Tracking via Multimodal-Guided Virtual Cues

要約

3D 単一オブジェクト追跡は、自動運転とロボット工学に不可欠です。
既存の方法では、点群がまばらで不完全なシナリオに苦戦することがよくあります。
これらの制限に対処するために、我々は、まばらな点群を強化する仮想キューを生成するマルチモーダルガイド付き仮想キュー投影 (MVCP) スキームを提案します。
さらに、生成された仮想キューに基づいて強化されたトラッカー MVCTrack を導入します。
具体的には、MVCP スキームは RGB センサーを LiDAR ベースのシステムにシームレスに統合し、一連の 2D 検出を活用して、点群のまばらさを大幅に改善する高密度の 3D 仮想キューを作成します。
これらの仮想キューは既存の LiDAR ベースの 3D トラッカーと自然に統合でき、大幅なパフォーマンス向上をもたらします。
広範な実験により、私たちの手法が NuScenes データセット上で競争力のあるパフォーマンスを達成できることが実証されました。

要約(オリジナル)

3D single object tracking is essential in autonomous driving and robotics. Existing methods often struggle with sparse and incomplete point cloud scenarios. To address these limitations, we propose a Multimodal-guided Virtual Cues Projection (MVCP) scheme that generates virtual cues to enrich sparse point clouds. Additionally, we introduce an enhanced tracker MVCTrack based on the generated virtual cues. Specifically, the MVCP scheme seamlessly integrates RGB sensors into LiDAR-based systems, leveraging a set of 2D detections to create dense 3D virtual cues that significantly improve the sparsity of point clouds. These virtual cues can naturally integrate with existing LiDAR-based 3D trackers, yielding substantial performance gains. Extensive experiments demonstrate that our method achieves competitive performance on the NuScenes dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google