Towards AI-controlled FES-restoration of arm movements: Controlling for progressive muscular fatigue with Gaussian state-space models

要約

障害に達すると、日常業務を遂行する個人の能力が制限されます。
表面機能的電気刺激 (FES) は、失われた能力を回復するための非侵襲的なソリューションを提供します。
ただし、FES を使用して目的の動きを誘導することは、まだ未解決のエンジニアリングの問題です。
この問題は、人間の腕の神経力学の複雑さと個人差によって強調されます。
強化学習 (RL) は、さまざまなサブジェクトや設定に対してカスタマイズされた制御ルールを管理するための有望なアプローチとして浮上しています。
しかし、RL を使用して FES を制御する際の残りの課題の 1 つは、刺激の未知の関数として徐々に変化する観察不能な筋肉疲労であり、マルコフの RL の仮定を破っています。
この作業では、目に見えない筋肉疲労の問題に対処する方法を提示し、RL コントローラーがより高い制御パフォーマンスを達成できるようにします。
この方法は、再帰型ニューラル ネットワークを利用して部分観測からマルコフ状態空間を学習するガウス状態空間モデル (GSSM) に基づいています。
GSSM は、監視を RL の状態空間表現に変換してマルコフの仮定を維持するフィルターとして使用されます。
ここでは、自信過剰の問題に対処するための元の GSSM の変更を提示することから始めます。
次に、RL と修正された GSSM の間の相互作用を示し、続いて FES 制御学習のセットアップを示します。
詳細な神経機械モデルを使用してシミュレーションの平面到達設定でRL-GSSMシステムをテストし、GSSMがRLが疲労に対して制御性能を維持するのに役立つことを示します。

要約(オリジナル)

Reaching disability limits an individual’s ability in performing daily tasks. Surface Functional Electrical Stimulation (FES) offers a non-invasive solution to restore the lost abilities. However, inducing desired movements using FES is still an open engineering problem. This problem is accentuated by the complexities of human arms’ neuromechanics and the variations across individuals. Reinforcement Learning (RL) emerges as a promising approach to govern customised control rules for different subjects and settings. Yet, one remaining challenge of using RL to control FES is unobservable muscle fatigue that progressively changes as an unknown function of the stimulation, breaking the Markovian assumption of RL. In this work, we present a method to address the unobservable muscle fatigue issue, allowing our RL controller to achieve higher control performances. Our method is based on a Gaussian State-Space Model (GSSM) that utilizes recurrent neural networks to learn Markovian state-spaces from partial observations. The GSSM is used as a filter that converts the observations into the state-space representation for RL to preserve the Markovian assumption. Here, we start with presenting the modification of the original GSSM to address an overconfident issue. We then present the interaction between RL and the modified GSSM, followed by the setup for FES control learning. We test our RL-GSSM system on a planar reaching setting in simulation using a detailed neuromechanical model and show that the GSSM can help RL maintain its control performance against the fatigue.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google