Towards Frame Rate Agnostic Multi-Object Tracking

要約

タイトル：フレームレートに対して不変なマルチオブジェクトトラッキングに向けて

要約：

– マルチオブジェクトトラッキングは、様々なビデオ解析アプリケーションに貢献する最も基本的なコンピュータビジョンのタスクである。
– 現在のMOT研究は、入力ストリームの固定されたサンプリングフレームレートに限定されている。
– フレームレートが変化した場合、最新のトラッカーの精度が著しく低下することがある。
– より賢いトラッキングソリューションのために、フレームレートに対して不変なマルチオブジェクトトラッキング（FraMOT）に注目し、FraMOT問題に対処するためのフレームレートに対して不変なMOTフレームワークを提案する。
– 提案手法には、フレームレートに対して不変な関連モジュール（FAAM）と周期的トレーニングスキーム（PTS）が含まれる。
– この新しいFraMOTタスクの評価方法を確立する最初の試みを行い、既知のフレームレートと未知のフレームレートの2つの異なるモードでフレームレートに対して不変なMOTをハンドルしようとする。
– Quantitative experiments on the challenging MOT17/20 dataset (FraMOT version) は、提案手法が、異なるフレームレートをよりよく処理し、複雑なシナリオにおけるロバスト性を向上させることができることを明確に示している。

要約(オリジナル)

Multi-Object Tracking (MOT) is one of the most fundamental computer vision tasks that contributes to various video analysis applications. Despite the recent promising progress, current MOT research is still limited to a fixed sampling frame rate of the input stream. In fact, we empirically found that the accuracy of all recent state-of-the-art trackers drops dramatically when the input frame rate changes. For a more intelligent tracking solution, we shift the attention of our research work to the problem of Frame Rate Agnostic MOT (FraMOT), which takes frame rate insensitivity into consideration. In this paper, we propose a Frame Rate Agnostic MOT framework with a Periodic training Scheme (FAPS) to tackle the FraMOT problem for the first time. Specifically, we propose a Frame Rate Agnostic Association Module (FAAM) that infers and encodes the frame rate information to aid identity matching across multi-frame-rate inputs, improving the capability of the learned model in handling complex motion-appearance relations in FraMOT. Moreover, the association gap between training and inference is enlarged in FraMOT because those post-processing steps not included in training make a larger difference in lower frame rate scenarios. To address it, we propose Periodic Training Scheme (PTS) to reflect all post-processing steps in training via tracking pattern matching and fusion. Along with the proposed approaches, we make the first attempt to establish an evaluation method for this new task of FraMOT in two different modes, i.e., known frame rate and unknown frame rate, aiming to handle a more complex situation. The quantitative experiments on the challenging MOT17/20 dataset (FraMOT version) have clearly demonstrated that the proposed approaches can handle different frame rates better and thus improve the robustness against complicated scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI