Efficiently Quantifying Individual Agent Importance in Cooperative MARL

要約

協調的なマルチエージェント強化学習 (MARL) では、個々のエージェントの貢献度を測定するのが困難です。
協調型 MARL では、通常、チームのパフォーマンスは単一の共有グローバル報酬から推測されます。
おそらく、個々のエージェントの貢献度を効果的に測定するための現在の最良のアプローチの 1 つは、Shapley 値を使用することです。
ただし、エージェントの数に応じて計算の複雑さが指数関数的に増大するため、これらの値の計算にはコストがかかります。
この論文では、差額報酬を、エージェント重要度と呼ばれる個々のエージェントの貢献を定量化するための効率的な方法に適応させ、エージェントの数に対して線形の計算複雑さを提供します。
私たちは、計算された値が、実際の Shapley 値、およびこれらが利用可能な環境でグラウンド トゥルースとして使用される真の基礎となる個々のエージェント報酬と強く相関していることを経験的に示します。
以前の MARL ベンチマーク作業で発見されたアルゴリズムの障害を診断することにより、Agent Importance を使用して MARL システムの研究を支援する方法を示します。
私たちの分析は、エージェントの重要性が将来の MARL ベンチマークの貴重な説明可能性コンポーネントであることを示しています。

要約(オリジナル)

Measuring the contribution of individual agents is challenging in cooperative multi-agent reinforcement learning (MARL). In cooperative MARL, team performance is typically inferred from a single shared global reward. Arguably, among the best current approaches to effectively measure individual agent contributions is to use Shapley values. However, calculating these values is expensive as the computational complexity grows exponentially with respect to the number of agents. In this paper, we adapt difference rewards into an efficient method for quantifying the contribution of individual agents, referred to as Agent Importance, offering a linear computational complexity relative to the number of agents. We show empirically that the computed values are strongly correlated with the true Shapley values, as well as the true underlying individual agent rewards, used as the ground truth in environments where these are available. We demonstrate how Agent Importance can be used to help study MARL systems by diagnosing algorithmic failures discovered in prior MARL benchmarking work. Our analysis illustrates Agent Importance as a valuable explainability component for future MARL benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google