MCTR: Multi Camera Tracking Transformer

要約

マルチカメラ追跡は、現実世界のさまざまなアプリケーションにおいて極めて重要な役割を果たします。
単一カメラの追跡ではエンドツーエンドの手法が大きな関心を集めていますが、マルチカメラの追跡は依然としてヒューリスティック技術に大きく依存しています。
このギャップに対応して、このホワイトペーパーでは、重複する視野を持つ複数のカメラにわたる複数のオブジェクトの検出と追跡に合わせた新しいエンドツーエンドのアプローチであるマルチカメラ追跡 tRansformer (MCTR) を紹介します。
MCTR は、DEtector TRansformer (DETR) などのエンドツーエンドの検出器を利用して、カメラ ビューごとに個別に検出と検出埋め込みを生成します。
フレームワークは、追跡されるオブジェクトに関するグローバル情報をカプセル化する一連のトラック エンベディングを維持し、ビュー固有の検出エンベディングからのローカル情報を統合することによってフレームごとにそれらを更新します。
トラックの埋め込みは、すべてのカメラ ビューおよびフレームの検出と確率的に関連付けられ、一貫したオブジェクト トラックが生成されます。
ソフトな確率的関連付けにより、システム全体のエンドツーエンドのトレーニングを可能にする微分可能な損失の設計が容易になります。
私たちのアプローチを検証するために、最近導入された 2 つの大規模なマルチカメラ マルチオブジェクト追跡データセットである MMPTrack と AI City Challenge で実験を行います。

要約(オリジナル)

Multi-camera tracking plays a pivotal role in various real-world applications. While end-to-end methods have gained significant interest in single-camera tracking, multi-camera tracking remains predominantly reliant on heuristic techniques. In response to this gap, this paper introduces Multi-Camera Tracking tRansformer (MCTR), a novel end-to-end approach tailored for multi-object detection and tracking across multiple cameras with overlapping fields of view. MCTR leverages end-to-end detectors like DEtector TRansformer (DETR) to produce detections and detection embeddings independently for each camera view. The framework maintains set of track embeddings that encaplusate global information about the tracked objects, and updates them at every frame by integrating the local information from the view-specific detection embeddings. The track embeddings are probabilistically associated with detections in every camera view and frame to generate consistent object tracks. The soft probabilistic association facilitates the design of differentiable losses that enable end-to-end training of the entire system. To validate our approach, we conduct experiments on MMPTrack and AI City Challenge, two recently introduced large-scale multi-camera multi-object tracking datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google