Exploring Point-BEV Fusion for 3D Point Cloud Object Tracking with Transformer

要約

自律走行におけるLiDARセンサーの普及に伴い、3Dオブジェクトトラッキングが注目されています。点群シーケンスにおいて、3Dオブジェクトトラッキングは、オブジェクトテンプレートが与えられた連続したフレームにおけるオブジェクトの位置と向きを予測することを目的としている。我々は、変換器の成功に動機づけられ、変換器の操作の助けを借りて、効率的に粗から微までの高品質な3D追跡結果を予測する点追跡変換器（Point Tracking TRansformer: PTTR）を提案する。PTTRは3つの新しいデザインから構成される。1) ランダムサンプリングの代わりに、サブサンプリング時に与えられたテンプレートに関連する点を保存するRelation-Aware Samplingを設計する。2) テンプレートと探索領域間の効率的な特徴集約と特徴マッチングのために、点関係変換器を提案する。3) 粗い追跡結果を基に、局所的な特徴プーリングにより最終的に洗練された予測を得るために、新しい予測洗練モジュールを採用する。さらに、点群の鳥瞰図（BEV）が物体運動を捉える上で有利な特性を持つことに着目し、PTTR++と名付けたより高度なフレームワークを設計し、ポイントワイズビューとBEV表現の両方を取り入れて、高品質のトラッキング結果を生成するためにそれらの相補的な効果を活用する。PTTR++は、PTTRの上に、低い計算オーバーヘッドで追跡性能を大幅に向上させる。複数のデータセットに対する広範な実験により、我々の提案するアプローチが優れた3Dトラッキング精度と効率性を達成することが示された。

要約(オリジナル)

With the prevalence of LiDAR sensors in autonomous driving, 3D object tracking has received increasing attention. In a point cloud sequence, 3D object tracking aims to predict the location and orientation of an object in consecutive frames given an object template. Motivated by the success of transformers, we propose Point Tracking TRansformer (PTTR), which efficiently predicts high-quality 3D tracking results in a coarse-to-fine manner with the help of transformer operations. PTTR consists of three novel designs. 1) Instead of random sampling, we design Relation-Aware Sampling to preserve relevant points to the given template during subsampling. 2) We propose a Point Relation Transformer for effective feature aggregation and feature matching between the template and search region. 3) Based on the coarse tracking results, we employ a novel Prediction Refinement Module to obtain the final refined prediction through local feature pooling. In addition, motivated by the favorable properties of the Bird’s-Eye View (BEV) of point clouds in capturing object motion, we further design a more advanced framework named PTTR++, which incorporates both the point-wise view and BEV representation to exploit their complementary effect in generating high-quality tracking results. PTTR++ substantially boosts the tracking performance on top of PTTR with low computational overhead. Extensive experiments over multiple datasets show that our proposed approaches achieve superior 3D tracking accuracy and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL