3D Pose-Based Temporal Action Segmentation for Figure Skating: A Fine-Grained and Jump Procedure-Aware Annotation Approach

要約

ビデオから人間の行動を理解することは、スポーツを含む多くの分野で不可欠です。
フィギュアスケートでは、スケーターの 3D 動作を観察することによって技術的な判断が行われますが、その判断手順の一部は、Temporal Action Segmentation (TAS) タスクとみなすことができます。
ビデオに時間的セマンティクスを自動的に割り当てるフィギュアスケートの TAS タスクは、積極的に研究されています。
しかし、3D ポーズ データを必要とする TAS タスクのためのデータセットや効果的な方法が不足しています。
この研究では、まず光学式マーカーレス モーション キャプチャを使用して、複雑でダイナミックなフィギュアスケートのジャンプの FS-Jump3D データセットを作成しました。
また、TAS モデルがジャンプ手順を学習できる、新しいきめ細かいフィギュアスケート ジャンプ TAS データセット アノテーション方法も提案します。
実験結果では、フィギュアスケートにおける TAS モデルの入力としての 3D ポーズ特徴ときめ細かいデータセットの有用性を検証しました。
FS-Jump3D データセットは https://github.com/ryota-skating/FS-Jump3D で入手できます。

要約(オリジナル)

Understanding human actions from videos is essential in many domains, including sports. In figure skating, technical judgments are performed by watching skaters’ 3D movements, and its part of the judging procedure can be regarded as a Temporal Action Segmentation (TAS) task. TAS tasks in figure skating that automatically assign temporal semantics to video are actively researched. However, there is a lack of datasets and effective methods for TAS tasks requiring 3D pose data. In this study, we first created the FS-Jump3D dataset of complex and dynamic figure skating jumps using optical markerless motion capture. We also propose a new fine-grained figure skating jump TAS dataset annotation method with which TAS models can learn jump procedures. In the experimental results, we validated the usefulness of 3D pose features as input and the fine-grained dataset for the TAS model in figure skating. FS-Jump3D Dataset is available at https://github.com/ryota-skating/FS-Jump3D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google