Monocular 3D Human Pose Estimation for Sports Broadcasts using Partial Sports Field Registration

要約

タイトル – 部分的なスポーツフィールド登録を使用したスポーツ放送のための単眼3D人体姿勢推定
要約 – スポーツイベントの撮影は、運動選手の動きを世界に投影し、2D放送画像上に平面化します。これらの画像での関節のピクセル位置を高い信頼度で検出できます。運動選手の実際の3D運動（運動学）を回復するには、これらの2Dピクセル位置を第三次元に戻す必要があり、ある場面のジオメトリを意味します。スポーツフィールドのよく知られたラインマーキングにより、カメラのキャリブレーションと場面の実際のジオメトリを決定することができます。詳細な運動学を抽出するには運動選手のクローズアップショットが必要で、それがカメラのキャリブレーションに関連する重要なフィールドマーカーを覆い隠します。我々は、1つの自由度にまでシーンに一貫したカメラキャリブレーションを決定する部分的なスポーツフィールドの登録を提案しています。3D姿勢推定とカメラキャリブレーションの共同最適化を通じて、400mトラックで3Dランニング運動学の成功した抽出を実証します。この研究では、2D人体姿勢推定とカメラキャリブレーションの進歩を組み合わせて、有効な大規模な運動運動学データセットを収集する方法を示しています。異なる視点、ランニングスタイル、および体型を持つUnreal Engine 5で10,000枚以上の画像の合成データセットを生成し、既存の単眼3D HPE方法の限界を示します。合成データとコードはhttps://github.com/tobibaum/PartialSportsFieldReg_3DHPEで利用可能です。

– スポーツイベントの撮影では、運動選手の動きを2D放送画像上に平面化し、関節のピクセル位置を高信頼で検出できる。
– 運動選手の3D運動を回復するには、2Dピクセル位置を第三次元に戻す必要があり、ラインマーキングによりカメラのキャリブレーションと実際の場面のジオメトリを決定できる。
– 運動選手のクローズアップショットでは、カメラのキャリブレーションに関連するフィールドマーカーが覆い隠されるため、部分的なスポーツフィールド登録を提案する。
– カメラキャリブレーションと3D姿勢推定の共同最適化により、400mトラックで3Dランニング運動学の抽出が成功したことを示す。
– Unreal Engine 5で10,000枚以上の合成データセットを生成し、既存の単眼3D HPE方法の限界を示す。
– 合成データとコードはhttps://github.com/tobibaum/PartialSportsFieldReg_3DHPEで利用可能である。

要約(オリジナル)

The filming of sporting events projects and flattens the movement of athletes in the world onto a 2D broadcast image. The pixel locations of joints in these images can be detected with high validity. Recovering the actual 3D movement of the limbs (kinematics) of the athletes requires lifting these 2D pixel locations back into a third dimension, implying a certain scene geometry. The well-known line markings of sports fields allow for the calibration of the camera and for determining the actual geometry of the scene. Close-up shots of athletes are required to extract detailed kinematics, which in turn obfuscates the pertinent field markers for camera calibration. We suggest partial sports field registration, which determines a set of scene-consistent camera calibrations up to a single degree of freedom. Through joint optimization of 3D pose estimation and camera calibration, we demonstrate the successful extraction of 3D running kinematics on a 400m track. In this work, we combine advances in 2D human pose estimation and camera calibration via partial sports field registration to demonstrate an avenue for collecting valid large-scale kinematic datasets. We generate a synthetic dataset of more than 10k images in Unreal Engine 5 with different viewpoints, running styles, and body types, to show the limitations of existing monocular 3D HPE methods. Synthetic data and code are available at https://github.com/tobibaum/PartialSportsFieldReg_3DHPE.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI