A Novel Transformer-Based Method for Full Lower-Limb Joint Angles and Moments Prediction in Gait Using sEMG and IMU data

要約

この研究では、表面筋電図（SEMG）および慣性測定ユニット（IMU）シグナルを使用した完全な下肢の関節角度と関節モーメントの長距離予測のための変圧器ベースの深い学習フレームワークを提示します。
2つの別々の変圧器ニューラルネットワーク（TNNS）が設計されました。1つは運動学的予測用と運動学的予測用です。
このモデルは、リアルタイムのアプリケーションを念頭に置いて開発され、外部のラボリティの使用に適したウェアラブルセンサーのみを使用して開発されました。
短期および長期のパフォーマンスを評価するために、2つの予測視野が検討されました。
ネットワークは両方のタスクで高い精度を達成し、スピアマン相関係数は0.96を超え、すべてのジョイントで0.92を超えるRスクエアスコアを超えました。
特に、モデルは一貫して関節角度予測の最近のベンチマーク方法を上回り、RMSEエラーを数桁削減しました。
結果は、運動学と運動学の両方の情報をキャプチャする際のSEMGおよびIMUシグナルの補完的な役割を確認しました。
この作業は、モデルの効率と精度を強化するための入力最小化とモダリティ固有の重み付け戦略を含む将来の方向を備えた、ウェアラブルおよびロボットアプリケーションにおけるリアルタイムのフルリンブ生体力学的予測のためのトランスベースのモデルの可能性を示しています。

要約(オリジナル)

This study presents a transformer-based deep learning framework for the long-horizon prediction of full lower-limb joint angles and joint moments using surface electromyography (sEMG) and inertial measurement unit (IMU) signals. Two separate Transformer Neural Networks (TNNs) were designed: one for kinematic prediction and one for kinetic prediction. The model was developed with real-time application in mind, using only wearable sensors suitable for outside-laboratory use. Two prediction horizons were considered to evaluate short- and long-term performance. The network achieved high accuracy in both tasks, with Spearman correlation coefficients exceeding 0.96 and R-squared scores above 0.92 across all joints. Notably, the model consistently outperformed a recent benchmark method in joint angle prediction, reducing RMSE errors by an order of magnitude. The results confirmed the complementary role of sEMG and IMU signals in capturing both kinematic and kinetic information. This work demonstrates the potential of transformer-based models for real-time, full-limb biomechanical prediction in wearable and robotic applications, with future directions including input minimization and modality-specific weighting strategies to enhance model efficiency and accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google