StreamMOTP: Streaming and Unified Framework for Joint 3D Multi-Object Tracking and Trajectory Prediction

要約

3D マルチオブジェクト追跡と軌道予測は、自動運転システムにおける 2 つの重要なモジュールです。
一般に、これら 2 つのタスクは従来のパラダイムでは別々に処理されますが、最近、これら 2 つのタスクを共同でモデル化する方法がいくつか検討され始めています。
ただし、これらのアプローチには、単一フレームのトレーニングの制限と、追跡タスクと予測タスク間の座標表現の一貫性がないという問題があります。
この論文では、上記の課題に対処するために、共同 3D マルチオブジェクト追跡および軌道予測 (StreamMOTP) のためのストリーミング統合フレームワークを提案します。
まず、ストリーミング方式でモデルを構築し、メモリ バンクを活用して、追跡されたオブジェクトの長期的な潜在的な特徴をより効果的に保存および活用します。
次に、2 つのタスク間の座標表現のギャップを埋め、軌道予測の姿勢不変性を維持するために、相対時空間位置符号化戦略が導入されます。
第三に、デュアルストリーム予測器を使用して、予測軌道の品質と一貫性をさらに向上させます。
私たちは人気のある nuSences データセットに対して広範な実験を実施し、その実験結果は StreamMOTP の有効性と優位性を示しており、どちらのタスクでも以前​​の方法を大幅に上回っています。
さらに、提案されたフレームワークが自動運転の実際の応用において大きな可能性と利点を持っていることも証明します。

要約(オリジナル)

3D multi-object tracking and trajectory prediction are two crucial modules in autonomous driving systems. Generally, the two tasks are handled separately in traditional paradigms and a few methods have started to explore modeling these two tasks in a joint manner recently. However, these approaches suffer from the limitations of single-frame training and inconsistent coordinate representations between tracking and prediction tasks. In this paper, we propose a streaming and unified framework for joint 3D Multi-Object Tracking and trajectory Prediction (StreamMOTP) to address the above challenges. Firstly, we construct the model in a streaming manner and exploit a memory bank to preserve and leverage the long-term latent features for tracked objects more effectively. Secondly, a relative spatio-temporal positional encoding strategy is introduced to bridge the gap of coordinate representations between the two tasks and maintain the pose-invariance for trajectory prediction. Thirdly, we further improve the quality and consistency of predicted trajectories with a dual-stream predictor. We conduct extensive experiments on popular nuSences dataset and the experimental results demonstrate the effectiveness and superiority of StreamMOTP, which outperforms previous methods significantly on both tasks. Furthermore, we also prove that the proposed framework has great potential and advantages in actual applications of autonomous driving.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google