Foundational Policy Acquisition via Multitask Learning for Motor Skill Generation

要約

本研究では、新規な運動スキルを生成するための基礎的な方針獲得のためのマルチタスク強化学習アルゴリズムを提案する。\本研究では、マルチタスク強化学習アルゴリズムを提案する。我々は、人間の感覚運動適応メカニズムに着想を得て、エンコーダ・デコーダネットワークの構築とネットワーク選択を行う学習パイプラインを開発し、複数の状況下での基礎的なポリシーの獲得を容易にした。まず、標準的なマルチロケーションタスクにおいて、提案手法を従来のマルチタスク強化学習手法と比較した。その結果、提案手法はベースライン手法を凌駕することが示された。次に、提案手法を一脚ロボットモデルを用いたボールヘディングタスクに適用し、スキル生成性能を評価した。その結果、提案手法は、新奇な目標位置や未経験のボール返還係数に適応しつつも、元々ヘディング動作のために学習された基礎的なポリシーネットワークを獲得することができ、全く新しいオーバーヘッドキックスキルを生成できることが示された。

要約(オリジナル)

In this study, we propose a multitask reinforcement learning algorithm for foundational policy acquisition to generate novel motor skills. \textcolor{\hcolor}{Learning the rich representation of the multitask policy is a challenge in dynamic movement generation tasks because the policy needs to cope with changes in goals or environments with different reward functions or physical parameters. Inspired by human sensorimotor adaptation mechanisms, we developed the learning pipeline to construct the encoder-decoder networks and network selection to facilitate foundational policy acquisition under multiple situations. First, we compared the proposed method with previous multitask reinforcement learning methods in the standard multi-locomotion tasks. The results showed that the proposed approach outperformed the baseline methods. Then, we applied the proposed method to the ball heading task using a monopod robot model to evaluate skill generation performance. The results showed that the proposed method was able to adapt to novel target positions or inexperienced ball restitution coefficients but to acquire a foundational policy network, originally learned for heading motion, which can generate an entirely new overhead kicking skill.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL