Towards Reinforcement Learning Controllers for Soft Robots using Learned Environments

要約

ソフト ロボット マニピュレータは、柔軟で変形可能な構造により操作上の利点をもたらします。
ただし、それらの本質的に非線形なダイナミクスには大きな課題があります。
従来の分析手法は仮定の単純化に依存することが多く、学習ベースの手法は計算量が多く、制御ポリシーが既存のデータに限定される場合があります。
この論文では、データから学習した並列化可能な合成環境内で最先端のポリシー勾配手法を活用した、ソフト ロボット制御への新しいアプローチを紹介します。
また、カスケード更新と重み付きランダム性を介した安全指向の作動空間探索プロトコルも提案します。
具体的には、私たちの回帰順ダイナミクス モデルは、部分的に観測された状態空間を探索するための、作動空間における物理的に安全な \textit{平均復帰} ランダム ウォークからトレーニング データセットを生成することによって学習されます。
私たちは、長期にわたって高性能の動作を効率的に学習する、最先端のアクタークリティカル手法による閉ループ制御への強化学習アプローチを実証します。
このアプローチにより、ロボットの動作や機能に関する知識が不要になり、ソフト ロボット制御における包括的なベンチマーク ツールの準備が整います。

要約(オリジナル)

Soft robotic manipulators offer operational advantage due to their compliant and deformable structures. However, their inherently nonlinear dynamics presents substantial challenges. Traditional analytical methods often depend on simplifying assumptions, while learning-based techniques can be computationally demanding and limit the control policies to existing data. This paper introduces a novel approach to soft robotic control, leveraging state-of-the-art policy gradient methods within parallelizable synthetic environments learned from data. We also propose a safety oriented actuation space exploration protocol via cascaded updates and weighted randomness. Specifically, our recurrent forward dynamics model is learned by generating a training dataset from a physically safe \textit{mean reverting} random walk in actuation space to explore the partially-observed state-space. We demonstrate a reinforcement learning approach towards closed-loop control through state-of-the-art actor-critic methods, which efficiently learn high-performance behaviour over long horizons. This approach removes the need for any knowledge regarding the robot’s operation or capabilities and sets the stage for a comprehensive benchmarking tool in soft robotics control.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google