STT: Stateful Tracking with Transformers for Autonomous Driving

要約

自動運転には、3 次元空間内の物体を追跡することが重要です。
運転中の安全を確保するには、トラッカーはフレーム間でオブジェクトを確実に追跡し、現在の速度や加速度などの状態を正確に推定できなければなりません。
既存の研究では、状態推定におけるモデルのパフォーマンスを無視したり、状態を予測するために複雑なヒューリスティックを導入したりしながら、関連付けタスクに重点を置くことがよくあります。
この論文では、Transformers で構築されたステートフル トラッキング モデルである STT を提案します。これは、シーン内のオブジェクトを一貫して追跡しながら、その状態を正確に予測することができます。
STT は、長期にわたる検出履歴を通じて豊富な外観、ジオメトリ、モーション信号を消費し、データ関連付けタスクと状態推定タスクの両方に対して共同で最適化されます。
MOTA や MOTP などの標準的な追跡メトリクスでは、オブジェクトの状態の広範囲にわたる 2 つのタスクを組み合わせたパフォーマンスが捕捉されないため、この制限に対処する S-MOTA および MOTPS と呼ばれる新しいメトリクスを使用してそれらを拡張します。
STT は、Waymo Open Dataset 上で競争力のあるリアルタイム パフォーマンスを実現します。

要約(オリジナル)

Tracking objects in three-dimensional space is critical for autonomous driving. To ensure safety while driving, the tracker must be able to reliably track objects across frames and accurately estimate their states such as velocity and acceleration in the present. Existing works frequently focus on the association task while either neglecting the model performance on state estimation or deploying complex heuristics to predict the states. In this paper, we propose STT, a Stateful Tracking model built with Transformers, that can consistently track objects in the scenes while also predicting their states accurately. STT consumes rich appearance, geometry, and motion signals through long term history of detections and is jointly optimized for both data association and state estimation tasks. Since the standard tracking metrics like MOTA and MOTP do not capture the combined performance of the two tasks in the wider spectrum of object states, we extend them with new metrics called S-MOTA and MOTPS that address this limitation. STT achieves competitive real-time performance on the Waymo Open Dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google