Domain Randomization for Robust, Affordable and Effective Closed-loop Control of Soft Robots

要約

ソフトロボットは、接触に対する本質的な安全性と適応性のおかげで、非常に人気が高まっています。
ただし、自由度が無限にある可能性があるため、モデリングは困難な作業になり、多くの場合、おおよその説明しか利用できません。
モデルと実際のプラットフォームとの間のドメイン ギャップが大きいため、この課題により、強化学習 (RL) ベースのアプローチを現実的なシナリオに展開すると非効率になります。
この作業では、ドメインのランダム化 (DR) が RL ポリシーを強化することでこの問題を解決する方法を初めて示します。
環境の変化;
ii) ターゲット モデルがトレーニング モデルと大幅に異なる場合、学習したポリシーの手頃な価格。
iii) ロボットの能力を高めるために環境を利用することを自律的に学習することさえできるポリシーのより高い有効性 (環境制約の利用)。
さらに、変形可能なオブジェクトのダイナミクス パラメーターの自動推論のための以前の適応ドメイン ランダム化方法の新しいアルゴリズム拡張を紹介します。
4 つの異なるタスクと 2 つのソフト ロボット設計に関する結果を提供し、クローズド ループのソフト ロボット制御のための強化学習に関する将来の研究に興味深い展望を開きます。

要約(オリジナル)

Soft robots are becoming extremely popular thanks to their intrinsic safety to contacts and adaptability. However, the potentially infinite number of Degrees of Freedom makes their modeling a daunting task, and in many cases only an approximated description is available. This challenge makes reinforcement learning (RL) based approaches inefficient when deployed on a realistic scenario, due to the large domain gap between models and the real platform. In this work, we demonstrate, for the first time, how Domain Randomization (DR) can solve this problem by enhancing RL policies with: i) a higher robustness w.r.t. environmental changes; ii) a higher affordability of learned policies when the target model differs significantly from the training model; iii) a higher effectiveness of the policy, which can even autonomously learn to exploit the environment to increase the robot capabilities (environmental constraints exploitation). Moreover, we introduce a novel algorithmic extension of previous adaptive domain randomization methods for the automatic inference of dynamics parameters for deformable objects. We provide results on four different tasks and two soft robot designs, opening interesting perspectives for future research on Reinforcement Learning for closed-loop soft robot control.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google