AthletePose3D: A Benchmark Dataset for 3D Human Pose Estimation and Kinematic Validation in Athletic Movements

要約

人間のポーズ推定は、スポーツ科学、リハビリテーション、および生体力学的研究にまたがるアプリケーションを備えたコンピュータービジョンとスポーツの生体力学における重要なタスクです。
単眼3Dポーズ推定では大きな進歩がありましたが、現在のデータセットは、競争力のあるスポーツに典型的な複雑で高加速運動をキャプチャできないことがよくあります。
この作業では、このギャップに対処するために設計された新しいデータセットであるAthletepose3Dを紹介します。
Athletepose3Dには、さまざまな分野にわたる12種類のスポーツモーションが含まれており、約130万のフレームと165,000の個別の姿勢があり、特に高速で高加速運動運動を獲得しています。
データセット上の最先端の（SOTA）単眼2Dおよび3Dポーズ推定モデルを評価し、従来のデータセットでトレーニングされたモデルが運動式の動きでパフォーマンスが低いことを明らかにします。
ただし、Athletepose3Dでこれらのモデルを微調整すると、69％を超える69％を超える、214mm（MPJPE）あたりのSOTAモデル平均（MPJPE）が214mmから65mm-Aの減少を顕著に減少させます。
また、波形分析を通じて単眼のポーズ推定の運動学的精度を検証し、関節角の推定における強い相関関係を強調しますが、速度推定では制限を強調します。
私たちの仕事は、スポーツの文脈における単眼のポーズ推定モデルの包括的な評価を提供し、高性能スポーツ環境で単眼のポーズ推定技術を進めるための貴重な洞察を提供します。
データセット、コード、およびモデルチェックポイントは、https：//github.com/calvinyeungck/athletepose3dで入手できます。

要約(オリジナル)

Human pose estimation is a critical task in computer vision and sports biomechanics, with applications spanning sports science, rehabilitation, and biomechanical research. While significant progress has been made in monocular 3D pose estimation, current datasets often fail to capture the complex, high-acceleration movements typical of competitive sports. In this work, we introduce AthletePose3D, a novel dataset designed to address this gap. AthletePose3D includes 12 types of sports motions across various disciplines, with approximately 1.3 million frames and 165 thousand individual postures, specifically capturing high-speed, high-acceleration athletic movements. We evaluate state-of-the-art (SOTA) monocular 2D and 3D pose estimation models on the dataset, revealing that models trained on conventional datasets perform poorly on athletic motions. However, fine-tuning these models on AthletePose3D notably reduces the SOTA model mean per joint position error (MPJPE) from 214mm to 65mm-a reduction of over 69%. We also validate the kinematic accuracy of monocular pose estimations through waveform analysis, highlighting strong correlations in joint angle estimations but limitations in velocity estimation. Our work provides a comprehensive evaluation of monocular pose estimation models in the context of sports, contributing valuable insights for advancing monocular pose estimation techniques in high-performance sports environments. The dataset, code, and model checkpoints are available at: https://github.com/calvinyeungck/AthletePose3D

arxiv情報

提供元, 利用サービス

arxiv.jp, Google