A Neuro-Inspired Hierarchical Reinforcement Learning for Motor Control

要約

多関節ロボットの自然な動作機能を実現するコントローラーを設計することは、大きな課題です。
しかし、自然界の動物はもともと基本的な運動能力を備えており、後天的に学習することでさまざまな複雑な運動能力を習得することができます。
哺乳類の中枢運動システムのメカニズムの分析に基づいて、ロボットが外部データに依存せずに豊富な運動スキルを学習し、複雑なタスク環境に適用できるようにする、神経にヒントを得た階層的強化学習アルゴリズムを提案します。
まず、大脳基底核における随意運動の選択機構と小脳の運動調節能力を利用して、小脳と同様のスキルネットワークを設計します。
続いて、運動システムの高度なセンターの構造を模倣することで、さまざまなスキルの組み合わせを生成し、それによってロボットが自然な運動能力を獲得できるようにするための高度なポリシーを提案します。
4種類のロボットと22のタスク環境で実験を行った結果、提案手法によりさまざまな種類のロボットが柔軟な動作スキルを実現できることがわかりました。
全体として、私たちの研究はロボット神経モーターコントローラーの設計に有望なフレームワークを提供します。

要約(オリジナル)

Designing controllers to achieve natural motion capabilities for multi-joint robots is a significant challenge. However, animals in nature are naturally with basic motor abilities and can master various complex motor skills through acquired learning. On the basis of analyzing the mechanism of the central motor system in mammals, we propose a neuro-inspired hierarchical reinforcement learning algorithm that enables robots to learn rich motor skills and apply them to complex task environments without relying on external data. We first design a skills network similar to the cerebellum by utilizing the selection mechanism of voluntary movements in the basal ganglia and the regulatory ability of the cerebellum to regulate movement. Subsequently, by imitating the structure of advanced centers in the motion system, we propose a high-level policy to generate different skill combinations, thereby enabling the robot to acquire natural motor abilities. We conduct experiments on 4 types of robots and 22 task environments, and the results show that the proposed method can enable different types of robots to achieve flexible motion skills. Overall, our research provides a promising framework for the design of robotic neural motor controllers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google