CAMELTrack: Context-Aware Multi-cue ExpLoitation for Online Multi-Object Tracking

要約

オンラインマルチオブジェクトトラッキングは、トラックレット表現、特徴フュージョン、マルチステージマッチングのためのますます洗練されたヒューリスティックスに依存しているトラッキングバイディテクション（TbD）メソッドによって、近年支配されています。TbDの主な強みは、そのモジュール設計にあり、動き予測や再識別のような特殊な既製モデルの統合を可能にします。しかしながら、時間的関連付けのために人間が作成したルールを多用するため、これらの手法は様々なトラッキングキュー間の複雑な相互作用を捉える能力において本質的に限界がある。この研究では、TbDの貴重なモジュール性を維持しながら、手作業によるヒューリスティックから脱却し、データから直接弾力性のある関連付け戦略を学習する、Context-Aware Multi-Cue ExpLoitationのための新しい関連付けモジュールであるCAMELを紹介する。CAMELは、2つの変換器ベースのモジュールを採用し、追跡されたターゲットとその様々な関連キューとの間の複雑な相互作用を効果的にモデル化するために、新しい関連中心の学習スキームに依存しています。エンド・ツー・エンドの検出による追跡アプローチとは異なり、我々の手法は軽量かつ高速な学習を維持しながら、外部の既製のモデルを活用することができる。我々の提案するオンライン追跡パイプラインCAMELTrackは、複数の追跡ベンチマークにおいて最先端のパフォーマンスを達成している。我々のコードはhttps://github.com/TrackingLaboratory/CAMELTrack。

要約(オリジナル)

Online multi-object tracking has been recently dominated by tracking-by-detection (TbD) methods, where recent advances rely on increasingly sophisticated heuristics for tracklet representation, feature fusion, and multi-stage matching. The key strength of TbD lies in its modular design, enabling the integration of specialized off-the-shelf models like motion predictors and re-identification. However, the extensive usage of human-crafted rules for temporal associations makes these methods inherently limited in their ability to capture the complex interplay between various tracking cues. In this work, we introduce CAMEL, a novel association module for Context-Aware Multi-Cue ExpLoitation, that learns resilient association strategies directly from data, breaking free from hand-crafted heuristics while maintaining TbD’s valuable modularity. At its core, CAMEL employs two transformer-based modules and relies on a novel association-centric training scheme to effectively model the complex interactions between tracked targets and their various association cues. Unlike end-to-end detection-by-tracking approaches, our method remains lightweight and fast to train while being able to leverage external off-the-shelf models. Our proposed online tracking pipeline, CAMELTrack, achieves state-of-the-art performance on multiple tracking benchmarks. Our code is available at https://github.com/TrackingLaboratory/CAMELTrack.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL