MASQ: Multi-Agent Reinforcement Learning for Single Quadruped Robot Locomotion

要約

この論文では、マルチエージェント深層強化学習 (MARL) を使用して単一の四足歩行ロボットの移動学習を改善する新しい方法を提案します。
既存の手法の多くは、個々のロボットに対してシングル エージェント強化学習を使用するか、マルチロボット システムでの協調タスクに対して MARL を使用します。
既存の手法とは異なり、本論文では単一の四足ロボットの移動学習に MARL を使用することを提案します。
私たちは、単一四足ロボット移動のためのマルチエージェント強化学習 (MASQ) と呼ばれる学習構造を開発します。これは、各脚を四足ロボットの動作空間を探索するエージェントとして考慮し、グローバルな批評家を共有し、共同して学習します。
実験結果は、MASQ が学習の収束を高速化するだけでなく、現実世界の設定における堅牢性も強化することを示しており、MASQ を四足歩行などの単一ロボットに適用すると、従来の単一ロボットの強化学習アプローチを超える可能性があることを示唆しています。
私たちの研究は、MARL と単一ロボットの移動学習の統合に関する洞察に富んだガイダンスを提供します。

要約(オリジナル)

This paper proposes a novel method to improve locomotion learning for a single quadruped robot using multi-agent deep reinforcement learning (MARL). Many existing methods use single-agent reinforcement learning for an individual robot or MARL for the cooperative task in multi-robot systems. Unlike existing methods, this paper proposes using MARL for the locomotion learning of a single quadruped robot. We develop a learning structure called Multi-Agent Reinforcement Learning for Single Quadruped Robot Locomotion (MASQ), considering each leg as an agent to explore the action space of the quadruped robot, sharing a global critic, and learning collaboratively. Experimental results indicate that MASQ not only speeds up learning convergence but also enhances robustness in real-world settings, suggesting that applying MASQ to single robots such as quadrupeds could surpass traditional single-robot reinforcement learning approaches. Our study provides insightful guidance on integrating MARL with single-robot locomotion learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google