STCMOT: Spatio-Temporal Cohesion Learning for UAV-Based Multiple Object Tracking

要約

無人航空機 (UAV) ビデオの複数オブジェクト追跡 (MOT) は、コンピューター ビジョンのさまざまなアプリケーションにとって重要です。
現在の MOT トラッカーは、正確な物体検出結果とターゲット再識別 (ReID) の正確な照合に依存しています。
これらの方法は、特にオブジェクトの変形やぼやけなどの困難な追跡条件に対して、オブジェクトの関係をモデリングする際の時間的な手がかりを無視しながら、ターゲットの空間属性を最適化することに焦点を当てています。上記の問題に対処するために、私たちは新しい時空間結合複数オブジェクト追跡を提案します。
フレームワーク (STCMOT)。履歴埋め込み機能を利用して、ReID の表現と検出機能を順番にモデル化します。
具体的には、時間的埋め込みブースティングモジュールが導入され、隣接するフレームの協力に基づいて個々の埋め込みの識別可能性が向上します。
軌道埋め込みは、時間的フィールド内の顕著なターゲット位置をマイニングするために、時間的検出改良モジュールによって伝播されます。
VisDrone2019 および UAVDT データセットに関する広範な実験により、STCMOT が MOTA および IDF1 メトリクスで新しい最先端のパフォーマンスを設定することが実証されました。
ソースコードは https://github.com/ydhcg-BoBo/STCMOT で公開されています。

要約(オリジナル)

Multiple object tracking (MOT) in Unmanned Aerial Vehicle (UAV) videos is important for diverse applications in computer vision. Current MOT trackers rely on accurate object detection results and precise matching of target reidentification (ReID). These methods focus on optimizing target spatial attributes while overlooking temporal cues in modelling object relationships, especially for challenging tracking conditions such as object deformation and blurring, etc. To address the above-mentioned issues, we propose a novel Spatio-Temporal Cohesion Multiple Object Tracking framework (STCMOT), which utilizes historical embedding features to model the representation of ReID and detection features in a sequential order. Concretely, a temporal embedding boosting module is introduced to enhance the discriminability of individual embedding based on adjacent frame cooperation. While the trajectory embedding is then propagated by a temporal detection refinement module to mine salient target locations in the temporal field. Extensive experiments on the VisDrone2019 and UAVDT datasets demonstrate our STCMOT sets a new state-of-the-art performance in MOTA and IDF1 metrics. The source codes are released at https://github.com/ydhcg-BoBo/STCMOT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google