Sports Video Analysis on Large-Scale Data

要約

本論文では、近年発展が著しいスポーツ映像の自動機械記述のモデル化について検討する。しかしながら、最先端のアプローチは、人間の専門家がスポーツシーンをどのように分析しているかを捉えるには、かなり不十分である。(1)使用されるデータセットは公式なものではないプロバイダから収集されるため、当然ながらそれらのデータセットで学習したモデルと実世界のアプリケーションとの間にギャップが生じる。(2)これまでに提案された手法は、許容できる結果を得るためには、有用な視覚的特徴を局所化するための大規模な注釈作業（すなわち、ピクセルレベルでの選手とボールのセグメンテーション）を必要とする、(3) 公開データセットが極めて少ない。本論文では、上記の課題を解決するために、キャプションに焦点を当てたスポーツビデオ解析（NSVA）のための新しい大規模なNBAデータセットを提案する。また、最小限のラベリング作業で、生のビデオを意味のある特徴のスタックに処理する統一的なアプローチを設計し、変換器アーキテクチャを用いたそのような特徴に対するクロスモデリングが強力なパフォーマンスを導くことを示す。さらに、2つのタスク、すなわち、きめ細かいスポーツアクション認識と顕著な選手識別を扱うことで、NSVAの幅広い応用を実証する。コードとデータセットは https://github.com/jackwu502/NSVA で公開されています。

要約(オリジナル)

This paper investigates the modeling of automated machine description on sports video, which has seen much progress recently. Nevertheless, state-of-the-art approaches fall quite short of capturing how human experts analyze sports scenes. There are several major reasons: (1) The used dataset is collected from non-official providers, which naturally creates a gap between models trained on those datasets and real-world applications; (2) previously proposed methods require extensive annotation efforts (i.e., player and ball segmentation at pixel level) on localizing useful visual features to yield acceptable results; (3) very few public datasets are available. In this paper, we propose a novel large-scale NBA dataset for Sports Video Analysis (NSVA) with a focus on captioning, to address the above challenges. We also design a unified approach to process raw videos into a stack of meaningful features with minimum labelling efforts, showing that cross modeling on such features using a transformer architecture leads to strong performance. In addition, we demonstrate the broad application of NSVA by addressing two additional tasks, namely fine-grained sports action recognition and salient player identification. Code and dataset are available at https://github.com/jackwu502/NSVA.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL