Assigning Credit with Partial Reward Decoupling in Multi-Agent Proximal Policy Optimization

要約

マルチエージェント近接ポリシー最適化 (MAPPO) は最近、困難なマルチエージェント強化学習タスクにおいて最先端のパフォーマンスを実証しました。
しかし、MAPPO は依然として、個々のエージェントの行動に功績を帰すことが非常に困難であるため、チームの規模に応じて対応できないという、功績の割り当ての問題に悩まされています。
この論文では、単位割り当ての最近の発展を適応させて MAPPO を改善するマルチエージェント強化学習アルゴリズムを提案します。
私たちのアプローチは部分報酬デカップリング (PRD) を活用しており、学習された注意メカニズムを使用して、特定のエージェントのチームメイトの誰が学習の更新に関連しているかを推定します。
この推定値を使用して、エージェントの大規模なグループを、より管理しやすい小さなサブグループに動的に分解します。
私たちは、私たちのアプローチである PRD-MAPPO が、将来の期待される報酬に影響を与えないチームメイトからエージェントを切り離し、それによってクレジットの割り当てを合理化することを経験的に示しています。
さらに、StarCraft II を含むいくつかのマルチエージェント タスクにおいて、PRD-MAPPO が MAPPO やその他の最先端の手法と比較して、大幅に高いデータ効率と漸近的なパフォーマンスをもたらすことも示します。
最後に、以前は PRD が適用できなかった \textit{shared} 報酬設定に適用できる PRD-MAPPO のバージョンを提案し、これが MAPPO よりもパフォーマンスの向上にもつながることを経験的に示します。

要約(オリジナル)

Multi-agent proximal policy optimization (MAPPO) has recently demonstrated state-of-the-art performance on challenging multi-agent reinforcement learning tasks. However, MAPPO still struggles with the credit assignment problem, wherein the sheer difficulty in ascribing credit to individual agents’ actions scales poorly with team size. In this paper, we propose a multi-agent reinforcement learning algorithm that adapts recent developments in credit assignment to improve upon MAPPO. Our approach leverages partial reward decoupling (PRD), which uses a learned attention mechanism to estimate which of a particular agent’s teammates are relevant to its learning updates. We use this estimate to dynamically decompose large groups of agents into smaller, more manageable subgroups. We empirically demonstrate that our approach, PRD-MAPPO, decouples agents from teammates that do not influence their expected future reward, thereby streamlining credit assignment. We additionally show that PRD-MAPPO yields significantly higher data efficiency and asymptotic performance compared to both MAPPO and other state-of-the-art methods across several multi-agent tasks, including StarCraft II. Finally, we propose a version of PRD-MAPPO that is applicable to \textit{shared} reward settings, where PRD was previously not applicable, and empirically show that this also leads to performance improvements over MAPPO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google