Learning to Control Emulated Muscles in Real Robots: Towards Exploiting Bio-Inspired Actuator Morphology

要約

最近の研究では、シミュレーションにおいて筋肉アクチュエータの形態を利用して自然で堅牢な動きを実現することの計り知れない可能性が実証されています。
実際のロボットハードウェアの検証はまだ行われていません。
この研究では、最新の手頃な価格の電気モーターを利用して、ハードウェア上で筋アクチュエータの特性をリアルタイムでエミュレートします。
私たちのセットアップは、学習されたポリシーによって制御されながら、実際のロボット上で単純化された筋肉モデルをエミュレートできることを示します。
モデルのパフォーマンスと安定性を確保するだけでなく、実際のハードウェアに合わせて調整可能であることを保証する減衰ルールを導出することで、既存の筋肉モデルを改良します。
私たちのポリシーは完全にシミュレーションでの強化学習によって訓練されており、以前に報告された筋肉の利点が四足歩行やホッピングの場合にも及ぶことを示します。つまり、学習されたポリシーはより堅牢で、より規則的な歩行を示します。
最後に、学習したポリシーが実際のハードウェア上で実行できることを確認し、四足ロボット上でリアルタイムにエミュレートされた筋肉によるシミュレーションからリアルへの転送が可能であることを示します。
これらの結果は、人工筋肉が次世代の堅牢な脚ロボットにとって非常に有益なアクチュエータとなり得ることを示しています。

要約(オリジナル)

Recent studies have demonstrated the immense potential of exploiting muscle actuator morphology for natural and robust movement — in simulation. A validation on real robotic hardware is yet missing. In this study, we emulate muscle actuator properties on hardware in real-time, taking advantage of modern and affordable electric motors. We demonstrate that our setup can emulate a simplified muscle model on a real robot while being controlled by a learned policy. We improve upon an existing muscle model by deriving a damping rule that ensures that the model is not only performant and stable but also tuneable for the real hardware. Our policies are trained by reinforcement learning entirely in simulation, where we show that previously reported benefits of muscles extend to the case of quadruped locomotion and hopping: the learned policies are more robust and exhibit more regular gaits. Finally, we confirm that the learned policies can be executed on real hardware and show that sim-to-real transfer with real-time emulated muscles on a quadruped robot is possible. These results show that artificial muscles can be highly beneficial actuators for future generations of robust legged robots.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google