S.T.A.R.-Track: Latent Motion Models for End-to-End 3D Object Tracking with Adaptive Spatio-Temporal Appearance Representations

要約

このペーパーでは、注意による追跡パラダイムに従って、3D で追跡するためのオブジェクト中心のトランスフォーマー ベースのフレームワークを紹介します。
従来のモデルベースの追跡アプローチには、幾何学的運動モデルを使用して、フレーム間の物体と自我の運動の幾何学的効果が組み込まれています。
これに触発されて、私たちは新しい潜在運動モデル (LMM) を使用してオブジェクト クエリをさらに調整し、潜在空間での視線方向と照明条件の変化を直接考慮しながら、幾何学的な運動を明示的にモデル化する S.T.A.R.-Track を提案します。
トラックの存在確率のモデル化を支援する新しい学習可能なトラック埋め込みと組み合わせることで、クエリベースの検出器と統合できる汎用追跡フレームワークが実現します。
nuScenes ベンチマークに関する広範な実験により、私たちのアプローチの利点が実証され、DETR3D ベースのトラッカーで \ac{sota} のパフォーマンスが得られると同時に、トラックの ID 切り替えの数が大幅に削減されることがわかりました。

要約(オリジナル)

Following the tracking-by-attention paradigm, this paper introduces an object-centric, transformer-based framework for tracking in 3D. Traditional model-based tracking approaches incorporate the geometric effect of object- and ego motion between frames with a geometric motion model. Inspired by this, we propose S.T.A.R.-Track, which uses a novel latent motion model (LMM) to additionally adjust object queries to account for changes in viewing direction and lighting conditions directly in the latent space, while still modeling the geometric motion explicitly. Combined with a novel learnable track embedding that aids in modeling the existence probability of tracks, this results in a generic tracking framework that can be integrated with any query-based detector. Extensive experiments on the nuScenes benchmark demonstrate the benefits of our approach, showing \ac{sota} performance for DETR3D-based trackers while drastically reducing the number of identity switches of tracks at the same time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google