Hitting the Gym: Reinforcement Learning Control of Exercise-Strengthened Biohybrid Robots in Simulation

要約

動物は、現在のロボットが匹敵するのが困難な幅広い運用環境や規模にわたって、多くの驚くべき行動的偉業を達成できます。
このパフォーマンスギャップの説明の 1 つは、筋肉組織などの動物を構成する生物学的材料の並外れた特性です。
生きた筋肉組織をアクチュエータとして使用すると、ロボット システムに自己修復、コンプライアンス、生体適合性などの非常に望ましい特性を与えることができます。
従来のソフトロボットアクチュエータとは異なり、生きた筋肉のバイオハイブリッドアクチュエータは独特の適応性を示し、使用するにつれて強くなります。
筋肉の力の出力がその使用履歴に依存することにより、筋肉生物には環境に動的に適応する能力が与えられ、時間の経過とともに作業がより上手になります。
筋肉の適応性は筋肉生物にとっては利点ですが、現在、バイオハイブリッド研究者にとっては課題となっています。アクチュエータの力の出力が時間の経過とともに変化するロボットをどのように設計して制御するのでしょうか?
ここでは、共同設計パートナーとシステム コントローラーの両方として強化学習を活用し、筋肉の適応性を多筋肉バイオハイブリッド ロボットの設計およびモデリング ツールに組み込みます。
私たちの学習エージェントはコントローラーとして、格子ワーム構造上に分布する 42 個の筋肉の独立した収縮を調整し、筋肉の適応性を組み込みながら 8 つの異なるターゲットに向かってうまく誘導しました。
共同設計ツールとして、当社のエージェントを使用すると、ユーザーは特定のタスクを達成するためにどの筋肉が重要であるかを特定できます。
私たちの結果は、適応エージェントが最大報酬とトレーニング時間の点で非適応エージェントよりも優れていることを示しています。
これらの貢献を総合すると、筋肉アクチュエータの適応の解明が可能になり、適応性があり、高性能な多筋肉ロボットの設計とモデリングに情報を与えることができます。

要約(オリジナル)

Animals can accomplish many incredible behavioral feats across a wide range of operational environments and scales that current robots struggle to match. One explanation for this performance gap is the extraordinary properties of the biological materials that comprise animals, such as muscle tissue. Using living muscle tissue as an actuator can endow robotic systems with highly desirable properties such as self-healing, compliance, and biocompatibility. Unlike traditional soft robotic actuators, living muscle biohybrid actuators exhibit unique adaptability, growing stronger with use. The dependency of a muscle’s force output on its use history endows muscular organisms the ability to dynamically adapt to their environment, getting better at tasks over time. While muscle adaptability is a benefit to muscular organisms, it currently presents a challenge for biohybrid researchers: how does one design and control a robot whose actuators’ force output changes over time? Here, we incorporate muscle adaptability into a many-muscle biohybrid robot design and modeling tool, leveraging reinforcement learning as both a co-design partner and system controller. As a controller, our learning agents coordinated the independent contraction of 42 muscles distributed on a lattice worm structure to successfully steer it towards eight distinct targets while incorporating muscle adaptability. As a co-design tool, our agents enable users to identify which muscles are important to accomplishing a given task. Our results show that adaptive agents outperform non-adaptive agents in terms of maximum rewards and training time. Together, these contributions can both enable the elucidation of muscle actuator adaptation and inform the design and modeling of adaptive, performant, many-muscle robots.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google