A Central Motor System Inspired Pre-training Reinforcement Learning for Robotic Control

要約

多関節ロボットの自然なモーター能力を実現するコントローラーを設計することは、大きな課題です。
しかし、自然界の動物はもともと基本的な運動能力を備えており、後天的に学習することでさまざまな複雑な運動能力を習得することができます。
哺乳類の中枢運動システムのメカニズムの解析に基づいて、外部データに依存せずにロボットが豊富な運動スキルを学習し、複雑なタスク環境に適用できるようにする新しい事前訓練強化学習アルゴリズムを提案します。
まず、大脳基底核における随意運動の選択機構と小脳の基本的な運動調節能力を利用して、小脳と同様のスキルベースのネットワークを設計します。
続いて、中枢運動系の高度なセンターの構造を模倣することで、さまざまなスキルの組み合わせを生成し、それによってロボットが自然な運動能力を獲得できるようにするための高度なポリシーを提案します。
4種類のロボットと22のタスク環境で実験を行った結果、提案手法によりさまざまな種類のロボットが柔軟な運動能力を獲得できることがわかりました。
全体として、私たちの研究は、ニューラル ネットワーク モーター コントローラーの設計に有望なフレームワークを提供します。

要約(オリジナル)

Designing controllers to achieve natural motor capabilities for multi-joint robots is a significant challenge. However, animals in nature are naturally with basic motor abilities and can master various complex motor skills through acquired learning. On the basis of analyzing the mechanism of the central motor system in mammals, we propose a novel pre-training reinforcement learning algorithm that enables robots to learn rich motor skills and apply them to complex task environments without relying on external data. We first design a skill based network similar to the cerebellum by utilizing the selection mechanism of voluntary movements in the basal ganglia and the basic motor regulation ability of the cerebellum. Subsequently, by imitating the structure of advanced centers in the central motor system, we propose a high-level policy to generate different skill combinations, thereby enabling the robot to acquire natural motor abilities. We conduct experiments on 4 types of robots and 22 task environments, and the results show that the proposed method can enable different types of robots to achieve flexible motor skills. Overall, our research provides a promising framework for the design of neural network motor controllers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google