AutoSoccerPose: Automated 3D posture Analysis of Soccer Shot Movements

要約

画像の理解はコンピューター ビジョンの基本的なタスクであり、最近ではサッカーの姿勢分析に応用されています。
しかし、既存の公的に利用可能なデータセットには、特に姿勢シーケンスや 2D 姿勢注釈の形式での包括的な情報が不足しています。
さらに、現在の分析モデルは解釈可能な線形モデル (PCA や回帰など) に依存していることが多く、複雑で多様なシナリオにおける非線形の時空間関係を捉える能力が制限されています。
これらのギャップに対処するために、サッカー放送ビデオに 3D Shot Posture (3DSP) データセットを導入します。これは、私たちが知る限り、2D ポーズの注釈を備えた最も広範なスポーツ画像データセットを表します。
さらに、ポーズ シーケンスを埋め込むための非線形アプローチである 3DSP-GRAE (Graph Recurrent AutoEncoder) モデルを紹介します。
さらに、2D および 3D の姿勢推定と姿勢分析を半自動化することを目的としたパイプラインである AutoSoccerPose を提案します。
完全な自動化を達成することは困難であることが判明しましたが、私たちは基本的なベースラインを提供し、その有用性を注釈付きデータの範囲を超えて拡張します。
SoccerNet と 3DSP データセット上で AutoSoccerPose を検証し、3DSP に基づいた姿勢解析結果を提示します。
データセット、コード、モデルは、https://github.com/calvinyeungck/3D-Shot-Posture-Dataset から入手できます。

要約(オリジナル)

Image understanding is a foundational task in computer vision, with recent applications emerging in soccer posture analysis. However, existing publicly available datasets lack comprehensive information, notably in the form of posture sequences and 2D pose annotations. Moreover, current analysis models often rely on interpretable linear models (e.g., PCA and regression), limiting their capacity to capture non-linear spatiotemporal relationships in complex and diverse scenarios. To address these gaps, we introduce the 3D Shot Posture (3DSP) dataset in soccer broadcast videos, which represents the most extensive sports image dataset with 2D pose annotations to our knowledge. Additionally, we present the 3DSP-GRAE (Graph Recurrent AutoEncoder) model, a non-linear approach for embedding pose sequences. Furthermore, we propose AutoSoccerPose, a pipeline aimed at semi-automating 2D and 3D pose estimation and posture analysis. While achieving full automation proved challenging, we provide a foundational baseline, extending its utility beyond the scope of annotated data. We validate AutoSoccerPose on SoccerNet and 3DSP datasets, and present posture analysis results based on 3DSP. The dataset, code, and models are available at: https://github.com/calvinyeungck/3D-Shot-Posture-Dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google