Real-Time Fitness Exercise Classification and Counting from Video Frames

要約

この論文では、双方向長短期記憶 (BiLSTM) ニューラル ネットワークを使用したリアルタイム運動分類の新しい方法を紹介します。
既存の運動認識アプローチは、多くの場合、合成データセット、ユーザーやカメラの変動に敏感な生の座標入力に依存しており、運動動作の時間的依存性を十分に活用できていません。
これらの問題により、照明、カメラの角度、ユーザーの体型が異なる現実世界の状況における一般化性と堅牢性が制限されます。
これらの課題に対処するために、生の座標とともに関節角度などの不変特徴を活用する BiLSTM ベースのモデルを提案します。
角度と (x、y、z) 座標の両方を使用することで、モデルは視点、ユーザーの位置、身体の違いの変化に適応し、一般化が向上します。
30 フレーム シーケンスでのトレーニングにより、BiLSTM は演習の時間的コンテキストをキャプチャし、時間の経過とともに進化するパターンを認識できるようになります。
InfiniteRep データセットからの合成データと、Kaggle やその他のソースからの実世界のビデオを組み合わせたデータセットをコンパイルしました。
このデータセットには、スクワット、腕立て伏せ、ショルダー プレス、上腕二頭筋カールという 4 つの一般的なエクササイズが含まれています。
モデルはこれらの多様なデータセットでトレーニングおよび検証され、テスト セットで 99% 以上の精度を達成しました。
一般化可能性を評価するために、モデルは典型的な使用条件を代表する 2 つの別々のテスト セットでテストされました。
文献からの以前のアプローチとの比較は、提案されたモデルが最高のパフォーマンスを示すモデルであることを示す結果セクションに示されています。
この分類子は Web アプリケーションに統合されており、手動でエクササイズを選択することなく、リアルタイムのエクササイズ分類と繰り返しカウントを提供します。
デモとデータセットは、GitHub リポジトリ: https://github.com/RiccardoRiccio/Fitness-AI-Trainer-With-Automatic-Exercise-Recognition-and-Counting から入手できます。

要約(オリジナル)

This paper introduces a novel method for real-time exercise classification using a Bidirectional Long Short-Term Memory (BiLSTM) neural network. Existing exercise recognition approaches often rely on synthetic datasets, raw coordinate inputs sensitive to user and camera variations, and fail to fully exploit the temporal dependencies in exercise movements. These issues limit their generalizability and robustness in real-world conditions, where lighting, camera angles, and user body types vary. To address these challenges, we propose a BiLSTM-based model that leverages invariant features, such as joint angles, alongside raw coordinates. By using both angles and (x, y, z) coordinates, the model adapts to changes in perspective, user positioning, and body differences, improving generalization. Training on 30-frame sequences enables the BiLSTM to capture the temporal context of exercises and recognize patterns evolving over time. We compiled a dataset combining synthetic data from the InfiniteRep dataset and real-world videos from Kaggle and other sources. This dataset includes four common exercises: squat, push-up, shoulder press, and bicep curl. The model was trained and validated on these diverse datasets, achieving an accuracy of over 99% on the test set. To assess generalizability, the model was tested on 2 separate test sets representative of typical usage conditions. Comparisons with the previous approach from the literature are present in the result section showing that the proposed model is the best-performing one. The classifier is integrated into a web application providing real-time exercise classification and repetition counting without manual exercise selection. Demo and datasets are available at the following GitHub Repository: https://github.com/RiccardoRiccio/Fitness-AI-Trainer-With-Automatic-Exercise-Recognition-and-Counting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google