Less Is More: Robust Robot Learning via Partially Observable Multi-Agent Reinforcement Learning

要約

多くのマルチエージェントタスクや高次元ロボットタスクでは、コントローラーは集中型または分散型のいずれかで設計できます。
同様に、シングルエージェント強化学習 (SARL) またはマルチエージェント強化学習 (MARL) のいずれかの方法を使用して、そのようなコントローラーを学習することが可能です。
しかし、これら 2 つのパラダイム間の関係は、文献においてまだ十分に研究されていません。
この研究では、最も適切な方法についての洞察を得るために、同じタスクに対する SARL および MARL アプローチの堅牢性とパフォーマンスの観点から研究上の疑問を調査します。
まず、完全な状態の観測仮定の下で、これら 2 つのパラダイム間の等価性を分析的に示すことから始めます。
次に、エージェントが弱く、または部分的に対話している \textit{Dec-POMDP} タスクの広範なサブクラスを特定します。
これらのタスクでは、各エージェントの部分的な観察だけで、最適に近い意思決定を行うのに十分であることを示します。
さらに、このような部分的に観察可能な MARL を利用して、関節またはエージェントの障害が発生した場合のロボットの堅牢性を向上させることを提案します。
シミュレートされたマルチエージェントタスクとモバイルマニピュレーターを使用した実際のロボットタスクの両方に関する実験により、部分的に観察可能なMARLを介して、提示された洞察と提案されたロバストなロボット学習方法の有効性が検証されます。

要約(オリジナル)

In many multi-agent and high-dimensional robotic tasks, the controller can be designed in either a centralized or decentralized way. Correspondingly, it is possible to use either single-agent reinforcement learning (SARL) or multi-agent reinforcement learning (MARL) methods to learn such controllers. However, the relationship between these two paradigms remains under-studied in the literature. This work explores research questions in terms of robustness and performance of SARL and MARL approaches to the same task, in order to gain insight into the most suitable methods. We start by analytically showing the equivalence between these two paradigms under the full-state observation assumption. Then, we identify a broad subclass of \textit{Dec-POMDP} tasks where the agents are weakly or partially interacting. In these tasks, we show that partial observations of each agent are sufficient for near-optimal decision-making. Furthermore, we propose to exploit such partially observable MARL to improve the robustness of robots when joint or agent failures occur. Our experiments on both simulated multi-agent tasks and a real robot task with a mobile manipulator validate the presented insights and the effectiveness of the proposed robust robot learning method via partially observable MARL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google