ViT-MDHGR: Cross-day Reliability and Agility in Dynamic Hand Gesture Prediction via HD-sEMG Signal Decoding

要約

表面筋電図 (sEMG) および高密度 sEMG (HD-sEMG) 生体信号は、ウェアラブルおよびデバイスでの手ジェスチャの認識/予測機能により、補綴装置、ニューロロボティクス、さらに最近ではヒューマン コンピューター インターフェイスの筋電制御について広く研究されています。
非侵襲的な方法。
日中（同日）のパフォーマンスが高いことが報告されています。
ただし、従来のアプローチの汎用性が時間の経過とともに低いため、日中のパフォーマンス（トレーニング日とテスト日を分ける）は大幅に低下し、そのような技術を実際の実践に適用することが妨げられます。
数日間にわたるハンドジェスチャ認識の実現可能性に関する最近の研究は限られています。
既存の研究は大きな課題に直面している。長い sEMG エポックの必要性により、筋電制御に遅延が生じるため、対応するニューラル インターフェイスが実用的ではなくなる。
この論文では、数日間にわたる動的なハンドジェスチャ予測のためのコンパクトな ViT ベースのネットワークを提案します。
提案されたモデルは非常に短い HD-sEMG 信号ウィンドウ (つまり、リアルタイム筋電実装の慣例の 6 分の 1 にすぎない 50 ミリ秒) のみに依存するため、主要な課題に取り組み、機敏性と応答性を向上させます。
私たちが提案したモデルは、トレーニング後 3 ～ 25 日後のテスト当日に、20 人の被験者に対する 11 の動的なジェスチャを平均 71% 以上の精度で予測できます。
さらに、テスト当日のデータのごく一部で校正した場合、提案されたモデルは計算効率を高めるためにパラメータの 10% 未満を再トレーニングするだけで 92% 以上の精度を達成できます。

要約(オリジナル)

Surface electromyography (sEMG) and high-density sEMG (HD-sEMG) biosignals have been extensively investigated for myoelectric control of prosthetic devices, neurorobotics, and more recently human-computer interfaces because of their capability for hand gesture recognition/prediction in a wearable and non-invasive manner. High intraday (same-day) performance has been reported. However, the interday performance (separating training and testing days) is substantially degraded due to the poor generalizability of conventional approaches over time, hindering the application of such techniques in real-life practices. There are limited recent studies on the feasibility of multi-day hand gesture recognition. The existing studies face a major challenge: the need for long sEMG epochs makes the corresponding neural interfaces impractical due to the induced delay in myoelectric control. This paper proposes a compact ViT-based network for multi-day dynamic hand gesture prediction. We tackle the main challenge as the proposed model only relies on very short HD-sEMG signal windows (i.e., 50 ms, accounting for only one-sixth of the convention for real-time myoelectric implementation), boosting agility and responsiveness. Our proposed model can predict 11 dynamic gestures for 20 subjects with an average accuracy of over 71% on the testing day, 3-25 days after training. Moreover, when calibrated on just a small portion of data from the testing day, the proposed model can achieve over 92% accuracy by retraining less than 10% of the parameters for computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google