Fine-grained Action Analysis: A Multi-modality and Multi-task Dataset of Figure Skating

要約

既存のアクション データセットの詳細なアクション分析は、不十分なアクション カテゴリ、低い粒度、限られたモダリティ、タスクによって課題が生じています。
この論文では、世界フィギュアスケート選手権から収集されたフィギュアスケートのマルチモダリティおよびマルチタスク データセット (MMFS) を提案します。
アクション認識とアクション品質評価を備えた MMFS は、RGB、スケルトンをキャプチャし、空間的および時間的ラベルを含む 256 のカテゴリを持つ 11671 個のクリップからアクションのスコアを収集します。
私たちのデータセットの主な貢献は、次の 3 つの側面に分類されます。
(1) きめ細かい動作認識と品質評価をさらに検討するために、独立した空間的および時間的カテゴリが最初に提案されます。
(2) MMFS は、複雑で詳細なアクションの品質評価のためのスケルトン モダリティを初めて導入します。
(3) 私たちのマルチモダリティおよびマルチタスク データセットは、より多くのアクション分析モデルを促進します。
データセットのベンチマークを行うために、アクション認識とアクション品質評価に RGB ベースおよびスケルトンベースのベースライン手法を採用しています。

要約(オリジナル)

The fine-grained action analysis of the existing action datasets is challenged by insufficient action categories, low fine granularities, limited modalities, and tasks. In this paper, we propose a Multi-modality and Multi-task dataset of Figure Skating (MMFS) which was collected from the World Figure Skating Championships. MMFS, which possesses action recognition and action quality assessment, captures RGB, skeleton, and is collected the score of actions from 11671 clips with 256 categories including spatial and temporal labels. The key contributions of our dataset fall into three aspects as follows. (1) Independently spatial and temporal categories are first proposed to further explore fine-grained action recognition and quality assessment. (2) MMFS first introduces the skeleton modality for complex fine-grained action quality assessment. (3) Our multi-modality and multi-task dataset encourage more action analysis models. To benchmark our dataset, we adopt RGB-based and skeleton-based baseline methods for action recognition and action quality assessment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google