Reinforcement learning for freeform robot design

要約

動物における形態適応の必要性に触発され、ロボット設計の物理的側面を包含するようにロボット訓練を拡張することを試みる研究が増えている。しかし、ロボットの3次元形態を最適化できる強化学習手法は、予め決められた静的なトポロジー属の手足の向きを変えたり、サイズを変えたりすることに限られている。ここでは、任意の外部構造と内部構造を持つ自由形状ロボットを設計するための政策勾配を示す。これは、付属器官、器官、空洞のような高レベルのノンパラメトリックなマクロ構造を形成するために、原子ビルディングブロックの束を堆積または除去する動作によって達成される。結果は開ループ制御についてのみ提供されているが、将来的にこの方法を閉ループ制御や物理機械へのシミュレーション2リアル転送にどのように適応できるかを議論する。

要約(オリジナル)

Inspired by the necessity of morphological adaptation in animals, a growing body of work has attempted to expand robot training to encompass physical aspects of a robot’s design. However, reinforcement learning methods capable of optimizing the 3D morphology of a robot have been restricted to reorienting or resizing the limbs of a predetermined and static topological genus. Here we show policy gradients for designing freeform robots with arbitrary external and internal structure. This is achieved through actions that deposit or remove bundles of atomic building blocks to form higher-level nonparametric macrostructures such as appendages, organs and cavities. Although results are provided for open loop control only, we discuss how this method could be adapted for closed loop control and sim2real transfer to physical machines in future.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL