TrajectoryFormer: 3D Object Tracking Transformer with Predictive Trajectory Hypotheses

要約

3D マルチオブジェクト追跡 (MOT) は、自動運転車やサービス ロボットなどの多くのアプリケーションにとって不可欠です。
一般的に使用されている検出による追跡パラダイムにより、3D MOT は近年重要な進歩を遂げました。
ただし、これらの方法では、現在のフレームの検出ボックスのみを使用して軌道ボックスの関連付け結果を取得するため、トラッカーが検出器で見逃したオブジェクトを回復することは不可能になります。
この論文では、新しい点群ベースの 3D MOT フレームワークである TrajectoryFormer を紹介します。
検出器によって失われた物体を回復するために、軌道ボックスの関連付けのために、時間的に予測されたボックスと現在のフレーム検出ボックスを含むハイブリッド候補ボックスを使用して複数の軌道仮説を生成します。
予測されたボックスはオブジェクトの履歴軌跡情報を現在のフレームに伝播できるため、ネットワークは追跡されたオブジェクトの短期間の誤検出を許容できます。
長期的な物体の動きの特徴と短期的な物体の出現の特徴を組み合わせて、仮説ごとの特徴の埋め込みを作成します。これにより、時空間符号化の計算オーバーヘッドが削減されます。
さらに、グローバル-ローカルインタラクションモジュールを導入して、すべての仮説間で情報の相互作用を実行し、それらの空間関係をモデル化し、仮説の正確な推定につながります。
当社の TrajectoryFormer は、Waymo 3D MOT ベンチマークで最先端のパフォーマンスを達成します。

要約(オリジナル)

3D multi-object tracking (MOT) is vital for many applications including autonomous driving vehicles and service robots. With the commonly used tracking-by-detection paradigm, 3D MOT has made important progress in recent years. However, these methods only use the detection boxes of the current frame to obtain trajectory-box association results, which makes it impossible for the tracker to recover objects missed by the detector. In this paper, we present TrajectoryFormer, a novel point-cloud-based 3D MOT framework. To recover the missed object by detector, we generates multiple trajectory hypotheses with hybrid candidate boxes, including temporally predicted boxes and current-frame detection boxes, for trajectory-box association. The predicted boxes can propagate object’s history trajectory information to the current frame and thus the network can tolerate short-term miss detection of the tracked objects. We combine long-term object motion feature and short-term object appearance feature to create per-hypothesis feature embedding, which reduces the computational overhead for spatial-temporal encoding. Additionally, we introduce a Global-Local Interaction Module to conduct information interaction among all hypotheses and models their spatial relations, leading to accurate estimation of hypotheses. Our TrajectoryFormer achieves state-of-the-art performance on the Waymo 3D MOT benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google