Foundational Policy Acquisition via Multitask Learning for Motor Skill Generation

要約

本研究では、新たな運動能力を生成するための基礎方針獲得のためのマルチタスク強化学習アルゴリズムを提案します。
人間の感覚運動適応メカニズムにヒントを得て、単一の動作カテゴリーにおける新しい運動スキルを学習するために一般的に使用できるエンコーダー – デコーダー ネットワークをトレーニングすることを目指しています。
ポリシーネットワークをトレーニングするために、マルチタスク強化学習手法を開発します。この手法では、ポリシーは、動的動作生成タスクにおいて、異なる報酬関数または環境の物理パラメータを備えた目標または環境の変化に対応する必要があります。
ここでは具体的な課題として、一脚ロボットモデルを用いたボールヘディング課題で提案手法の評価を行った。
結果は、提案された方法が新しいターゲット位置または経験の浅いボール反発係数に適応できることを示しました。
さらに、もともとヘディングモーションのために学習された獲得された基本ポリシーネットワークを使用して、まったく新しいオーバーヘッドキックスキルを生成できることを実証しました。

要約(オリジナル)

In this study, we propose a multitask reinforcement learning algorithm for foundational policy acquisition to generate novel motor skills. Inspired by human sensorimotor adaptation mechanisms, we aim to train encoder-decoder networks that can be commonly used to learn novel motor skills in a single movement category. To train the policy network, we develop the multitask reinforcement learning method, where the policy needs to cope with changes in goals or environments with different reward functions or physical parameters of the environment in dynamic movement generation tasks. Here, as a concrete task, we evaluated the proposed method with the ball heading task using a monopod robot model. The results showed that the proposed method could adapt to novel target positions or inexperienced ball restitution coefficients. Furthermore, we demonstrated that the acquired foundational policy network originally learned for heading motion, can be used to generate an entirely new overhead kicking skill.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google