A Reinforcement Learning Based Controller to Minimize Forces on the Crutches of a Lower-Limb Exoskeleton

要約

パワード下肢外骨格ユーザーの代謝エネルギー消費は、下半身が受動的であると考えられているため、主に上半身の努力から生じます。
ただし、モーション コントローラーを設計する際の文献では、ユーザーの上半身の努力はほとんど無視されています。
この研究では、深層強化学習を使用して、松葉杖にかかる地面反力 (GRF) を最小限に抑える移動コントローラーを開発します。
GRF を最小限に抑えるための理論的根拠は、ユーザーの上半身の努力を軽減することです。
したがって、松葉杖を使用した人間の外骨格システムのモデルと学習フレームワークを設計します。
物理ロボットの所定の制約を満たしながら、人間の外骨格システムの前方変位を促進する報酬関数を定式化します。
MuJoCo 物理シミュレーター上で、最先端の深層強化学習 (RL) 手法である Proximal Policy Optimization を使用し、さまざまなハイパーパラメーターとネットワーク アーキテクチャを使用して、複数の試行にわたって新しいフレームワークを評価します。
私たちの学習モデルは、関節の角度、速度、足と松葉杖の先端の GRF に基づいて関節トルクを生成できることを経験的に示しています。
結果として得られる外骨格モデルは、RL フレームワークに沿った状態から関節トルクを直接生成できます。
最後に、私たちの方法を使用してトレーニングされたポリシーが、ベースラインに対して GRF を 35% 削減した歩行を生成できることを経験的に示します。

要約(オリジナル)

Metabolic energy consumption of a powered lower-limb exoskeleton user mainly comes from the upper body effort since the lower body is considered to be passive. However, the upper body effort of the users is largely ignored in the literature when designing motion controllers. In this work, we use deep reinforcement learning to develop a locomotion controller that minimizes ground reaction forces (GRF) on crutches. The rationale for minimizing GRF is to reduce the upper body effort of the user. Accordingly, we design a model and a learning framework for a human-exoskeleton system with crutches. We formulate a reward function to encourage the forward displacement of a human-exoskeleton system while satisfying the predetermined constraints of a physical robot. We evaluate our new framework using Proximal Policy Optimization, a state-of-the-art deep reinforcement learning (RL) method, on the MuJoCo physics simulator with different hyperparameters and network architectures over multiple trials. We empirically show that our learning model can generate joint torques based on the joint angle, velocities, and the GRF on the feet and crutch tips. The resulting exoskeleton model can directly generate joint torques from states in line with the RL framework. Finally, we empirically show that policy trained using our method can generate a gait with a 35% reduction in GRF with respect to the baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google