Characterization of Human Balance through a Reinforcement Learning-based Muscle Controller

要約

身体リハビリテーション中のバランス評価では、ルーブリック指向のバッテリー テストに依存して患者の身体能力を採点することが多く、主観が入ります。
いくつかの客観的なバランス評価は存在しますが、多くの場合、それらは圧力中心 (COP) の追跡に限定されており、全身の姿勢の安定性を完全には把握していません。
この研究は、質量中心 (COM) 状態空間の使用を調査し、人間の平衡能力を監視するための有望な手段を提示します。
私たちは、バランス能力を調査するために、強化学習 (RL) を通じてトレーニングされたバランス コントローラーと統合された筋骨格モデルを採用しています。
RL フレームワークは、バランス回復と筋肉調整をそれぞれ制御する 2 つの相互接続されたニューラル ネットワークで構成され、参照状態の初期化、早期終了、および複数のトレーニング戦略を備えた近接ポリシー最適化 (PPO) を使用してトレーニングされます。
訓練されたコントローラーのランダムな初期 COM 状態 (位置と速度) 空間からの回復を探索することで、成功したバランス回復軌道を囲む最終的な BR を取得します。
BR を線形倒立振子モデルからの解析的な姿勢安定性限界と比較すると、成功した COM 状態では同様の傾向が見られますが、回復可能な領域の範囲はより限定されています。
さらに筋力低下と神経興奮遅延が BR に及ぼす影響を調査し、さまざまな領域でバランス能力が低下していることを明らかにしました。
全体として、筋肉のバランスコントローラーを学習するという私たちのアプローチは、バランス回復限界を確立し、二足歩行システム、特に人間のバランス能力を客観的に評価するための有望な新しい方法を提示します。

要約(オリジナル)

Balance assessment during physical rehabilitation often relies on rubric-oriented battery tests to score a patient’s physical capabilities, leading to subjectivity. While some objective balance assessments exist, they are often limited to tracking the center of pressure (COP), which does not fully capture the whole-body postural stability. This study explores the use of the center of mass (COM) state space and presents a promising avenue for monitoring the balance capabilities in humans. We employ a musculoskeletal model integrated with a balance controller, trained through reinforcement learning (RL), to investigate balancing capabilities. The RL framework consists of two interconnected neural networks governing balance recovery and muscle coordination respectively, trained using Proximal Policy Optimization (PPO) with reference state initialization, early termination, and multiple training strategies. By exploring recovery from random initial COM states (position and velocity) space for a trained controller, we obtain the final BR enclosing successful balance recovery trajectories. Comparing the BRs with analytical postural stability limits from a linear inverted pendulum model, we observe a similar trend in successful COM states but more limited ranges in the recoverable areas. We further investigate the effect of muscle weakness and neural excitation delay on the BRs, revealing reduced balancing capability in different regions. Overall, our approach of learning muscular balance controllers presents a promising new method for establishing balance recovery limits and objectively assessing balance capability in bipedal systems, particularly in humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google