Reinforcement learning for freeform robot design

要約

動物における形態学的適応の必要性から着想を得て、ロボットの設計の物理的側面を包含するようにロボットの訓練を拡張しようとする一連の研究が増えている。
しかし、ロボットの 3D 形態を最適化できる強化学習方法は、あらかじめ決められた静的なトポロジ属の四肢の向きを変更したりサイズ変更したりすることに限定されていました。
ここでは、任意の外部構造と内部構造を持つ自由形状ロボットを設計するためのポリシー勾配を示します。
これは、原子構成要素の束を堆積または除去して、付属器、器官、空洞などのより高いレベルのノンパラメトリックなマクロ構造を形成するアクションによって達成されます。
結果は開ループ制御についてのみ提供されていますが、この方法が将来閉ループ制御および物理マシンへの sim2real 転送にどのように適応できるかについて説明します。

要約(オリジナル)

Inspired by the necessity of morphological adaptation in animals, a growing body of work has attempted to expand robot training to encompass physical aspects of a robot’s design. However, reinforcement learning methods capable of optimizing the 3D morphology of a robot have been restricted to reorienting or resizing the limbs of a predetermined and static topological genus. Here we show policy gradients for designing freeform robots with arbitrary external and internal structure. This is achieved through actions that deposit or remove bundles of atomic building blocks to form higher-level nonparametric macrostructures such as appendages, organs and cavities. Although results are provided for open loop control only, we discuss how this method could be adapted for closed loop control and sim2real transfer to physical machines in future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google