Collaborative Tracking Learning for Frame-Rate-Insensitive Multi-Object Tracking

要約

低フレーム レートでのマルチオブジェクト トラッキング (MOT) により、計算、ストレージ、電力のオーバーヘッドが削減され、エッジ デバイスの制約をより適切に満たすことができます。
既存の MOT 手法の多くは、隣接するフレーム間で位置や外観が大幅に変化するため、低フレーム レートのビデオでは大幅なパフォーマンスの低下が発生します。
この目的を達成するために、クエリベースのエンドツーエンド方式でフレームレートに依存しない MOT の協調追跡学習 (ColTrack) を検討することを提案します。
同じターゲットの複数の履歴クエリは、より豊富な時間的記述を使用して共同で追跡します。
一方、時間的手がかりをより適切に融合して特徴を洗練するために、2 つの時間ブロッキング デコーダーごとに情報洗練モジュールを挿入します。
さらに、履歴クエリ間の相互作用をガイドするために、追跡オブジェクトの一貫性の損失が提案されています。
広範な実験結果は、高フレームレートのビデオにおいて、ColTrack が大規模データセット Dancetrack および BDD100K での最先端の手法よりも高いパフォーマンスを獲得し、MOT17 での既存のエンドツーエンド手法を上回るパフォーマンスを示していることを示しています。
さらに重要なのは、ColTrack には、低フレーム レートのビデオにおける最先端の方法に比べて大きな利点があり、高いパフォーマンスを維持しながらフレーム レート要件を軽減することで、より高速な処理速度を得ることができます。
コードは https://github.com/yolomax/ColTrack でリリースされます。

要約(オリジナル)

Multi-object tracking (MOT) at low frame rates can reduce computational, storage and power overhead to better meet the constraints of edge devices. Many existing MOT methods suffer from significant performance degradation in low-frame-rate videos due to significant location and appearance changes between adjacent frames. To this end, we propose to explore collaborative tracking learning (ColTrack) for frame-rate-insensitive MOT in a query-based end-to-end manner. Multiple historical queries of the same target jointly track it with richer temporal descriptions. Meanwhile, we insert an information refinement module between every two temporal blocking decoders to better fuse temporal clues and refine features. Moreover, a tracking object consistency loss is proposed to guide the interaction between historical queries. Extensive experimental results demonstrate that in high-frame-rate videos, ColTrack obtains higher performance than state-of-the-art methods on large-scale datasets Dancetrack and BDD100K, and outperforms the existing end-to-end methods on MOT17. More importantly, ColTrack has a significant advantage over state-of-the-art methods in low-frame-rate videos, which allows it to obtain faster processing speeds by reducing frame-rate requirements while maintaining higher performance. Code will be released at https://github.com/yolomax/ColTrack

arxiv情報

提供元, 利用サービス

arxiv.jp, Google