Unified Transformer Tracker for Object Tracking

要約

コンピュータビジョンにおける重要な分野として、物体追跡は単一物体追跡（Single Object Tracking: SOT）と複数物体追跡（Multiple Object Tracking: MOT）をそれぞれ研究する2つの独立したコミュニティを形成してきました。しかし、両タスクの学習データセットやトラッキング対象が異なるため、一方のトラッキングシナリオにおける現在の手法は、他方に容易に適用することができません。UniTrackは、複数の頭部を持つ共有外観モデルを使って個々のトラッキングタスクに取り組めることを実証していますが、大規模なトラッキングデータセットをトレーニングに活用できず、単一物体トラッキングでの性能は低いままです。本研究では、1つのパラダイムで異なるシナリオのトラッキング問題に取り組むために、Unified Transformer Tracker (UTT)を発表します。UTTでは、SOTとMOTの両方においてターゲットを追跡するために、追跡変換器を開発しました。ターゲットと追跡フレームの特徴の相関を利用し、ターゲットの位置特定を行う。我々は、SOTとMOTの両方のタスクがこのフレームワークで解決できることを実証する。このモデルは、個々のタスクのデータセット上でSOTとMOTの目標を交互に最適化することにより、同時にエンドツーエンドで学習することが可能である。SOTとMOTのデータセットで学習させた統一モデルを用いて、いくつかのベンチマークで広範な実験を行う。コードは https://github.com/Flowerfan/Trackron で公開される予定。

要約(オリジナル)

As an important area in computer vision, object tracking has formed two separate communities that respectively study Single Object Tracking (SOT) and Multiple Object Tracking (MOT). However, current methods in one tracking scenario are not easily adapted to the other due to the divergent training datasets and tracking objects of both tasks. Although UniTrack \cite{wang2021different} demonstrates that a shared appearance model with multiple heads can be used to tackle individual tracking tasks, it fails to exploit the large-scale tracking datasets for training and performs poorly on single object tracking. In this work, we present the Unified Transformer Tracker (UTT) to address tracking problems in different scenarios with one paradigm. A track transformer is developed in our UTT to track the target in both SOT and MOT. The correlation between the target and tracking frame features is exploited to localize the target. We demonstrate that both SOT and MOT tasks can be solved within this framework. The model can be simultaneously end-to-end trained by alternatively optimizing the SOT and MOT objectives on the datasets of individual tasks. Extensive experiments are conducted on several benchmarks with a unified model trained on SOT and MOT datasets. Code will be available at https://github.com/Flowerfan/Trackron.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL