DittoGym: Learning to Control Soft Shape-Shifting Robots

要約

特定のタスクを解決するために学習されたポリシーと連携してロボットの形態を最適化するロボットの共同設計は、新たな研究分野です。
これは、学習された形態やアクチュエーターを実現できる新しい製造技術に適したソフトロボットにとって特に有望です。
自然と最近の斬新なロボット設計からインスピレーションを得て、私たちはさらに一歩進んで、寿命内で形態を変えることができるロボットとして定義される斬新な再構成可能ロボットを探索することを提案します。
再構成可能なソフトロボットの制御を高次元の強化学習（RL）問題として形式化します。
私たちは、形態の変化、移動、環境の相互作用を同じ動作空間に統合し、結果として得られるロボットのきめの細かい制御を達成するポリシーを発見できるようにする、粗いものから細かいものまでの適切なカリキュラムを導入します。
また、タスクを達成するためにきめ細かい形態変化を必要とする再構成可能なソフト ロボット向けの包括的な RL ベンチマークである DittoGym も紹介します。
最後に、私たちが提案した粗密アルゴリズムを DittoGym で評価し、RL アルゴリズムによって独自に可能になった、シーケンス内で形態を複数回変更することを学習するロボットを実証します。
詳しい結果は https://dittogym.github.io でご覧いただけます。

要約(オリジナル)

Robot co-design, where the morphology of a robot is optimized jointly with a learned policy to solve a specific task, is an emerging area of research. It holds particular promise for soft robots, which are amenable to novel manufacturing techniques that can realize learned morphologies and actuators. Inspired by nature and recent novel robot designs, we propose to go a step further and explore the novel reconfigurable robots, defined as robots that can change their morphology within their lifetime. We formalize control of reconfigurable soft robots as a high-dimensional reinforcement learning (RL) problem. We unify morphology change, locomotion, and environment interaction in the same action space, and introduce an appropriate, coarse-to-fine curriculum that enables us to discover policies that accomplish fine-grained control of the resulting robots. We also introduce DittoGym, a comprehensive RL benchmark for reconfigurable soft robots that require fine-grained morphology changes to accomplish the tasks. Finally, we evaluate our proposed coarse-to-fine algorithm on DittoGym and demonstrate robots that learn to change their morphology several times within a sequence, uniquely enabled by our RL algorithm. More results are available at https://dittogym.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google