End-to-end Tracking with a Multi-query Transformer

要約

複数オブジェクトの追跡 (MOT) は、時間の経過に伴うシーン内のオブジェクトの位置、外観、およびアイデンティティについて同時に推論する必要がある困難なタスクです。
このホワイト ペーパーの目的は、オブジェクト クラスが既知のデータセットで適切に機能する検出による追跡アプローチを超えて、未知のオブジェクト クラスでも適切に機能するクラスに依存しない追跡に移行することです。この目的のために、次のようにします。
3 つの貢献: まず、{\em セマンティック検出器クエリ} を導入します。これにより、オブジェクトのおおよその位置、外観、またはその両方を指定することで、オブジェクトをローカライズできます。
次に、これらのクエリを追跡用の自動回帰フレームワーク内で使用し、トランスフォーマー アーキテクチャに基づく同時追跡および外観ベースの再識別 (reID) のためのマルチクエリ トラッキング トランスフォーマー (\textit{MQT}) モデルを提案します。
変形注意。
この定式化により、トラッカーはクラスに依存しない方法で動作でき、モデルはエンドツーエンドでトレーニングできます。
最後に、\textit{MQT} が標準の MOT ベンチマークで競争力のあるパフォーマンスを発揮し、一般化された MOT ですべてのベースラインを上回り、TAO データセット上の任意のオブジェクトの追跡など、はるかに困難な追跡問題にうまく一般化することを示します。

要約(オリジナル)

Multiple-object tracking (MOT) is a challenging task that requires simultaneous reasoning about location, appearance, and identity of the objects in the scene over time. Our aim in this paper is to move beyond tracking-by-detection approaches, that perform well on datasets where the object classes are known, to class-agnostic tracking that performs well also for unknown object classes.To this end, we make the following three contributions: first, we introduce {\em semantic detector queries} that enable an object to be localized by specifying its approximate position, or its appearance, or both; second, we use these queries within an auto-regressive framework for tracking, and propose a multi-query tracking transformer (\textit{MQT}) model for simultaneous tracking and appearance-based re-identification (reID) based on the transformer architecture with deformable attention. This formulation allows the tracker to operate in a class-agnostic manner, and the model can be trained end-to-end; finally, we demonstrate that \textit{MQT} performs competitively on standard MOT benchmarks, outperforms all baselines on generalised-MOT, and generalises well to a much harder tracking problems such as tracking any object on the TAO dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google