A Spatial-Temporal Transformer based Framework For Human Pose Assessment And Correction in Education Scenarios

要約

人間の姿勢の評価と修正は、コンピューター ビジョン、ロボット工学、スポーツ分析、ヘルスケア、エンターテイメントなど、さまざまな分野のアプリケーションで重要な役割を果たしています。
この論文では、体育や科学実験などの教育シナリオにおける人間の姿勢の評価と修正のための時空間変換ベースのフレームワーク (STTF) を提案します。
このフレームワークは、骨格追跡、姿勢推定、姿勢評価、姿勢矯正モジュールで構成されており、専門的ですぐに修正できるフィードバックで学生を教育します。
また、視覚補助の形で修正フィードバックを提供する姿勢修正方法も作成します。
独自のデータセットを使用してフレームワークをテストします。
これは、(a) 5 つの演習の新しい録音、(b) 同じ演習のインターネット上で見つかった既存の録音、および (c) プロのアスリートや教師による録音に対する修正フィードバックで構成されます。
結果は、私たちのモデルが生徒の行動の質を効果的に測定しコメントできることを示しています。
STTF は、トランスフォーマー モデルの力を活用して人間のポーズの空間的および時間的依存性を捉え、生徒の動きの正確な評価と効果的な修正を可能にします。

要約(オリジナル)

Human pose assessment and correction play a crucial role in applications across various fields, including computer vision, robotics, sports analysis, healthcare, and entertainment. In this paper, we propose a Spatial-Temporal Transformer based Framework (STTF) for human pose assessment and correction in education scenarios such as physical exercises and science experiment. The framework comprising skeletal tracking, pose estimation, posture assessment, and posture correction modules to educate students with professional, quick-to-fix feedback. We also create a pose correction method to provide corrective feedback in the form of visual aids. We test the framework with our own dataset. It comprises (a) new recordings of five exercises, (b) existing recordings found on the internet of the same exercises, and (c) corrective feedback on the recordings by professional athletes and teachers. Results show that our model can effectively measure and comment on the quality of students’ actions. The STTF leverages the power of transformer models to capture spatial and temporal dependencies in human poses, enabling accurate assessment and effective correction of students’ movements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google