Tracking by Associating Clips

要約

今日の検出による追跡パラダイムは、複数オブジェクト追跡の主要な方法になり、各フレームでオブジェクトを検出し、フレーム間でデータ関連付けを実行することで機能します。
ただし、そのシーケンシャルなフレーム単位のマッチング プロパティは、基本的に、オブジェクト オクルージョン、カメラの素早い動き、急激な光の変化など、ビデオの中間的な中断の影響を受けます。
さらに、通常、マッチングのために 2 つのフレームを超える時間情報を見落とします。
この論文では、オブジェクトの関連付けをクリップごとのマッチングとして扱うことにより、代替案を調査します。
私たちの新しい視点は、単一の長いビデオ シーケンスを複数の短いクリップとして表示し、追跡はクリップ内およびクリップ間の両方で実行されます。
この新しいアプローチの利点は 2 つあります。
まず、ビデオのチャンク化により中断されたフレームをバイパスでき、短いクリップの追跡により、従来のエラーが発生しやすい長期的なトラックメモリ管理が回避されるため、この方法は追跡エラーの蓄積または伝播に対して堅牢です。
第 2 に、クリップごとのマッチング中に複数のフレーム情報が集約されるため、現在のフレームごとのマッチングよりも正確な長距離トラックの関連付けが得られます。
最先端の検出による追跡トラッカーである QDTrack を考慮して、新しい追跡フォーミュレーションで追跡パフォーマンスがどのように向上するかを紹介します。
補完的な特性を持ち、互いに挑戦し合う 2 つのトラッキング ベンチマークである TAO と MOT17 に関する提案を評価します。

要約(オリジナル)

The tracking-by-detection paradigm today has become the dominant method for multi-object tracking and works by detecting objects in each frame and then performing data association across frames. However, its sequential frame-wise matching property fundamentally suffers from the intermediate interruptions in a video, such as object occlusions, fast camera movements, and abrupt light changes. Moreover, it typically overlooks temporal information beyond the two frames for matching. In this paper, we investigate an alternative by treating object association as clip-wise matching. Our new perspective views a single long video sequence as multiple short clips, and then the tracking is performed both within and between the clips. The benefits of this new approach are two folds. First, our method is robust to tracking error accumulation or propagation, as the video chunking allows bypassing the interrupted frames, and the short clip tracking avoids the conventional error-prone long-term track memory management. Second, the multiple frame information is aggregated during the clip-wise matching, resulting in a more accurate long-range track association than the current frame-wise matching. Given the state-of-the-art tracking-by-detection tracker, QDTrack, we showcase how the tracking performance improves with our new tracking formulation. We evaluate our proposals on two tracking benchmarks, TAO and MOT17 that have complementary characteristics and challenges each other.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google