Reinforcement Learning of CPG-regulated Locomotion Controller for a Soft Snake Robot

要約

ソフト ロボットのインテリジェント制御は、ダイナミクスが非線形でモデル化が難しいため、困難です。
ソフト ロボット制御のための有望なモデルフリー アプローチの 1 つは強化学習 (RL) です。
ただし、モデルフリー RL 手法は計算コストが高く、データ効率が低い傾向があり、ソフト ロボットの自然でスムーズな移動パターンが得られない可能性があります。
この研究では、ソフト ヘビ ロボット用の学習ベースの目標追跡コントローラーの生物にインスピレーションを得た設計を開発します。
コントローラーは 2 つのモジュールで構成されています。ロボットのモデル化されていない確率的ダイナミクスを考慮して目標追跡行動を学習するための RL モジュールと、安定した多様な移動パターンを生成するための松岡発振器を備えた中央パターン ジェネレーター (CPG) です。
我々は、ソフトスネークロボットのステアリング制御、速度制御、およびシミュレーションから現実への適応のための松岡CPGの振動バイアス、周波数、および振幅の操作性を理論的に調査します。
この分析に基づいて、RL モジュールがロボットからの状態フィードバックを受けて CPG システムへの持続性入力を調整し、CPG モジュールの出力が空気圧アクチュエータへの圧力入力に変換されるように、RL モジュールと CPG モジュールの構成を提案しました。
柔らかいヘビロボットの。
この設計により、RL エージェントは、CPG の操作性によって決定される望ましい移動パターンに同調する方法を自然に学習できます。
私たちは、シミュレーションと実際の実験の両方で制御設計の最適性と堅牢性を検証し、最先端の RL 手法と広範な比較を実行して、生物からインスピレーションを得た制御設計の利点を実証しました。

要約(オリジナル)

Intelligent control of soft robots is challenging due to the nonlinear and difficult-to-model dynamics. One promising model-free approach for soft robot control is reinforcement learning (RL). However, model-free RL methods tend to be computationally expensive and data-inefficient and may not yield natural and smooth locomotion patterns for soft robots. In this work, we develop a bio-inspired design of a learning-based goal-tracking controller for a soft snake robot. The controller is composed of two modules: An RL module for learning goal-tracking behaviors given the unmodeled and stochastic dynamics of the robot, and a central pattern generator (CPG) with the Matsuoka oscillators for generating stable and diverse locomotion patterns. We theoretically investigate the maneuverability of Matsuoka CPG’s oscillation bias, frequency, and amplitude for steering control, velocity control, and sim-to-real adaptation of the soft snake robot. Based on this analysis, we proposed a composition of RL and CPG modules such that the RL module regulates the tonic inputs to the CPG system given state feedback from the robot, and the output of the CPG module is then transformed into pressure inputs to pneumatic actuators of the soft snake robot. This design allows the RL agent to naturally learn to entrain the desired locomotion patterns determined by the CPG maneuverability. We validated the optimality and robustness of the control design in both simulation and real experiments, and performed extensive comparisons with state-of-art RL methods to demonstrate the benefit of our bio-inspired control design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google