Adaptive Value Decomposition with Greedy Marginal Contribution Computation for Cooperative Multi-Agent Reinforcement Learning

要約

実世界での協力では、多くの場合、エージェント間の集中的な調整が同時に必要になります。
このタスクは、協調型マルチエージェント強化学習 (MARL) のフレームワーク内で広く研究されており、値分解法はそれらの最先端のソリューションの 1 つです。
ただし、エージェントごとのユーティリティの単調な混合として値関数を学習する従来の方法では、非単調なリターンでタスクを解決できません。
これは、一般的なシナリオでの適用を妨げます。
最近の方法は、完全な表現力を備えた値関数を学習するか、追加の構造を使用して協調を改善することにより、暗黙的なクレジット割り当ての観点からこの問題に取り組んでいます。
ただし、これらは、共同のアクション スペースが大きいために学習が難しいか、非単調なリターンでタスクを解決するために不可欠なエージェント間の複雑な相互作用を把握するには不十分です。
これらの問題に対処するために、非単調な問題に対処するための新しい明示的なクレジット割り当て方法を提案します。
私たちの方法である貪欲限界寄与 (AVGM) による適応値分解は、動的に変化するエージェントのグループの協調的な値を学習する適応値分解に基づいています。
最初に、提案された値分解がエージェント間の複雑な相互作用を考慮することができ、大規模なシナリオで学習できることを示します。
次に、私たちの方法は、値分解から計算された貪欲な限界貢献を個々のクレジットとして使用して、エージェントが最適な協力ポリシーを学習するように動機付けます。
貪欲な限界寄与を計算するための線形時間の複雑さを保証するために、アクションエンコーダーでモジュールをさらに拡張します。
実験結果は、私たちの方法がいくつかの非単調ドメインで大幅なパフォーマンスの向上を達成することを示しています。

要約(オリジナル)

Real-world cooperation often requires intensive coordination among agents simultaneously. This task has been extensively studied within the framework of cooperative multi-agent reinforcement learning (MARL), and value decomposition methods are among those cutting-edge solutions. However, traditional methods that learn the value function as a monotonic mixing of per-agent utilities cannot solve the tasks with non-monotonic returns. This hinders their application in generic scenarios. Recent methods tackle this problem from the perspective of implicit credit assignment by learning value functions with complete expressiveness or using additional structures to improve cooperation. However, they are either difficult to learn due to large joint action spaces or insufficient to capture the complicated interactions among agents which are essential to solving tasks with non-monotonic returns. To address these problems, we propose a novel explicit credit assignment method to address the non-monotonic problem. Our method, Adaptive Value decomposition with Greedy Marginal contribution (AVGM), is based on an adaptive value decomposition that learns the cooperative value of a group of dynamically changing agents. We first illustrate that the proposed value decomposition can consider the complicated interactions among agents and is feasible to learn in large-scale scenarios. Then, our method uses a greedy marginal contribution computed from the value decomposition as an individual credit to incentivize agents to learn the optimal cooperative policy. We further extend the module with an action encoder to guarantee the linear time complexity for computing the greedy marginal contribution. Experimental results demonstrate that our method achieves significant performance improvements in several non-monotonic domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google