Multi-task Learning for Joint Re-identification, Team Affiliation, and Role Classification for Sports Visual Tracking

要約

サッカービデオを分析するには、選手の効果的な追跡と再識別が不可欠です。
しかし、プレーヤーの動きが非線形であること、同じチームのプレーヤーの外観が類似していること、オクルージョンが頻繁に発生することなどにより、これは困難な作業です。
したがって、プレイヤーを表す意味のある埋め込みを抽出する機能は、効果的な追跡および再識別システムを開発する上で非常に重要です。
本稿では、役割分類、チームへの所属、再識別の3つのタスクを同時に実行する、PRTreIDと呼ばれる多目的パートベースの人物表現手法を提案します。
入手可能な文献とは対照的に、単一のネットワークはマルチタスク監視を使用してトレーニングされ、3 つのタスクすべてを共同で解決します。
提案された結合方法は、バックボーンが共有されているため、計算効率が高くなります。
また、定量的および定性的結果の両方で実証されているように、マルチタスク学習はより豊かで識別力のある表現につながります。
PRTreID の有効性を実証するために、部品ベースの後処理モジュールを使用して長期追跡を処理する最先端の追跡方法と統合されています。
提案された追跡方法は、困難な SoccerNet 追跡データセットに対して既存のすべての追跡方法よりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Effective tracking and re-identification of players is essential for analyzing soccer videos. But, it is a challenging task due to the non-linear motion of players, the similarity in appearance of players from the same team, and frequent occlusions. Therefore, the ability to extract meaningful embeddings to represent players is crucial in developing an effective tracking and re-identification system. In this paper, a multi-purpose part-based person representation method, called PRTreID, is proposed that performs three tasks of role classification, team affiliation, and re-identification, simultaneously. In contrast to available literature, a single network is trained with multi-task supervision to solve all three tasks, jointly. The proposed joint method is computationally efficient due to the shared backbone. Also, the multi-task learning leads to richer and more discriminative representations, as demonstrated by both quantitative and qualitative results. To demonstrate the effectiveness of PRTreID, it is integrated with a state-of-the-art tracking method, using a part-based post-processing module to handle long-term tracking. The proposed tracking method outperforms all existing tracking methods on the challenging SoccerNet tracking dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google