Jersey Number Recognition using Keyframe Identification from Low-Resolution Broadcast Videos

要約

プレーヤーの識別は、ビジョン主導のサッカー分析における重要なコンポーネントであり、プレーヤーの評価、ゲーム内分析、放送制作などのさまざまな下流タスクを可能にします。
ただし、ビデオ内の選手のトラックレットから背番号を自動的に検出するには、モーション ブラー、低解像度、歪み、オクルージョンによる課題が生じます。
空間トランスフォーマー ネットワーク、CNN、およびビジョン トランスフォーマーを利用した既存の方法は、画像データでは成功を収めていますが、ほとんどのフレームで背番号が表示されない現実世界のビデオ データでは困難を伴います。
したがって、背番号を含むフレームを識別することは、取り組むべき重要な副次的問題です。
これらの問題に対処するために、背番号に関する重要な高レベルの情報を含むフレームを抽出する堅牢なキーフレーム識別モジュールを提案します。
次に、時空間ネットワークを使用して、空間的および時間的コンテキストをモデル化し、ビデオ内の背番号の確率を予測します。
さらに、マルチタスク損失関数を採用し、各桁の確率分布を個別に予測します。
SoccerNet データセットの広範な評価により、提案したキーフレーム識別モジュールを組み込むと、ドメイン ギャップのある 2 つの異なるテスト セットの精度が 37.81% および 37.70% 大幅に向上することが実証されました。
これらの結果は、スポーツビデオにおける背番号の自動検出という課題に取り組む際の、私たちのアプローチの有効性と重要性を浮き彫りにしています。

要約(オリジナル)

Player identification is a crucial component in vision-driven soccer analytics, enabling various downstream tasks such as player assessment, in-game analysis, and broadcast production. However, automatically detecting jersey numbers from player tracklets in videos presents challenges due to motion blur, low resolution, distortions, and occlusions. Existing methods, utilizing Spatial Transformer Networks, CNNs, and Vision Transformers, have shown success in image data but struggle with real-world video data, where jersey numbers are not visible in most of the frames. Hence, identifying frames that contain the jersey number is a key sub-problem to tackle. To address these issues, we propose a robust keyframe identification module that extracts frames containing essential high-level information about the jersey number. A spatio-temporal network is then employed to model spatial and temporal context and predict the probabilities of jersey numbers in the video. Additionally, we adopt a multi-task loss function to predict the probability distribution of each digit separately. Extensive evaluations on the SoccerNet dataset demonstrate that incorporating our proposed keyframe identification module results in a significant 37.81% and 37.70% increase in the accuracies of 2 different test sets with domain gaps. These results highlight the effectiveness and importance of our approach in tackling the challenges of automatic jersey number detection in sports videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google