Domain Knowledge-Informed Self-Supervised Representations for Workout Form Assessment

要約

運動中に適切なフォームを維持することは、怪我を防ぎ、筋肉量の増加を最大化するために重要です.
トレーニングフォームのエラーを検出するには、当然、人体の姿勢を推定する必要があります。
ただし、既製のポーズ推定器は、カメラ アングル、ジム設備による遮蔽、照明、衣服などの要因により、ジムのシナリオで記録されたビデオでうまく機能するのに苦労しています。
問題を悪化させるために、ワークアウトで検出されるエラーは非常に微妙です。
そのために、ラベル付けされていないサンプルからエクササイズ指向の画像およびビデオ表現を学習することを提案します。これにより、専門家によって注釈が付けられた小さなデータセットで教師付きエラー検出に十分になります。
特に、ドメイン知識に基づいた自己管理型アプローチ (ポーズ コントラスト学習とモーション デスタングル) は、エクササイズ アクションの調和運動を利用し、カメラ アングル、衣服、および照明の大きな分散を利用して、強力な表現を学習します。
自己教師ありの事前トレーニングと教師ありの微調整を容易にするために、3 つの演習で構成される新しい演習データセット \emph{Fitness-AQA} (\url{https://github.com/ParitoshParmar/Fitness-AQA}) を作成しました。
：バックスクワット、バーベルロウ、オーバーヘッドプレス。
複数の重大で一般的に発生する運動エラーについて、専門のトレーナーによって注釈が付けられています。
実験結果は、私たちの自己教師あり表現が、既製の 2D および 3D 姿勢推定器や他のいくつかのベースラインよりも優れていることを示しています。
また、ポーズの推定やダイビングの品質評価など、他のドメイン/タスクにアプローチを適用できることも示しています。

要約(オリジナル)

Maintaining proper form while exercising is important for preventing injuries and maximizing muscle mass gains. Detecting errors in workout form naturally requires estimating human’s body pose. However, off-the-shelf pose estimators struggle to perform well on the videos recorded in gym scenarios due to factors such as camera angles, occlusion from gym equipment, illumination, and clothing. To aggravate the problem, the errors to be detected in the workouts are very subtle. To that end, we propose to learn exercise-oriented image and video representations from unlabeled samples such that a small dataset annotated by experts suffices for supervised error detection. In particular, our domain knowledge-informed self-supervised approaches (pose contrastive learning and motion disentangling) exploit the harmonic motion of the exercise actions, and capitalize on the large variances in camera angles, clothes, and illumination to learn powerful representations. To facilitate our self-supervised pretraining, and supervised finetuning, we curated a new exercise dataset, \emph{Fitness-AQA} (\url{https://github.com/ParitoshParmar/Fitness-AQA}), comprising of three exercises: BackSquat, BarbellRow, and OverheadPress. It has been annotated by expert trainers for multiple crucial and typically occurring exercise errors. Experimental results show that our self-supervised representations outperform off-the-shelf 2D- and 3D-pose estimators and several other baselines. We also show that our approaches can be applied to other domains/tasks such as pose estimation and dive quality assessment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google