Decentralized Motor Skill Learning for Complex Robotic Systems

要約

強化学習 (RL) は、複雑なロボット システム (四足歩行など) で目覚ましい成功を収めています。
以前の研究では、RL ベースのコントローラーは通常、連結された観測入力を持つ単一のニューラル ネットワークとして実装されました。
ただし、対応する学習済みポリシーは非常にタスク固有です。
すべてのモーターは集中管理されるため、分散外のローカル観測は、単一の結合ニューラル ネットワーク ポリシーを通じてグローバル モーターに影響を与える可能性があります。
対照的に、動物と人間は手足を別々に制御できます。
この生物学的現象に触発されて、私たちは、本質的な接続を維持しながら相互に切り離すことができる運動グループを自動的に発見し、分散型運動制御ポリシーを学習する分散型運動スキル (DEMOS) 学習アルゴリズムを提案します。
私たちの方法は、パフォーマンスを犠牲にすることなく、ポリシーの堅牢性と一般化を向上させます。
四足ロボットと人型ロボットの実験では、学習されたポリシーが局所的なモーターの誤動作に対して堅牢であり、新しいタスクに転送できることが実証されています。

要約(オリジナル)

Reinforcement learning (RL) has achieved remarkable success in complex robotic systems (eg. quadruped locomotion). In previous works, the RL-based controller was typically implemented as a single neural network with concatenated observation input. However, the corresponding learned policy is highly task-specific. Since all motors are controlled in a centralized way, out-of-distribution local observations can impact global motors through the single coupled neural network policy. In contrast, animals and humans can control their limbs separately. Inspired by this biological phenomenon, we propose a Decentralized motor skill (DEMOS) learning algorithm to automatically discover motor groups that can be decoupled from each other while preserving essential connections and then learn a decentralized motor control policy. Our method improves the robustness and generalization of the policy without sacrificing performance. Experiments on quadruped and humanoid robots demonstrate that the learned policy is robust against local motor malfunctions and can be transferred to new tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google