STAS: Spatial-Temporal Return Decomposition for Multi-agent Reinforcement Learning

要約

CTDE（Centralized Training with Decentralized Execution）は、協調型マルチエージェント強化学習（MARL）において効果的なパラダイムであることが証明されている。主な課題の1つは、エージェントの貢献度によってエージェントを評価することを目的としたクレジット割り当てである。先行研究は大きな成功を示しているが、それらの方法は、グローバルな報酬がエピソードの最後にのみ明らかにされるエピソード強化学習シナリオでは一般的に機能しない。これらの手法は、遅延した大域的報酬の複雑な関係を時間次元でモデル化する機能を持たず、非効率性に悩まされている。この問題に対処するために、我々は、時間次元と空間次元の両方で信用割り当てを学習する新しい手法である、シャプレーを用いた空間-時間アテンション(Spatial-Temporal Attention with Shapley: STAS)を導入する。STASはまず大域的な報酬を各時間ステップに分解し、次に分解された大域的報酬から個々の報酬を再分配するためにシャプレー値を利用する。シャプレー値の計算の複雑さを緩和するために、我々は限界寄与の近似を導入し、それを推定するためにモンテカルロサンプリングを利用する。我々は、アリスとボブの例と、異なるシナリオにわたるMPE環境で我々の手法を評価する。その結果、本手法が空間的時間的信用を効果的に割り当て、全ての最先端ベースラインを凌駕することが実証された。

要約(オリジナル)

Centralized Training with Decentralized Execution (CTDE) has been proven to be an effective paradigm in cooperative multi-agent reinforcement learning (MARL). One of the major challenges is credit assignment, which aims to credit agents by their contributions. While prior studies have shown great success, their methods typically fail to work in episodic reinforcement learning scenarios where global rewards are revealed only at the end of the episode. They lack the functionality to model complicated relations of the delayed global reward in the temporal dimension and suffer from inefficiencies. To tackle this, we introduce Spatial-Temporal Attention with Shapley (STAS), a novel method that learns credit assignment in both temporal and spatial dimensions. It first decomposes the global return back to each time step, then utilizes the Shapley Value to redistribute the individual payoff from the decomposed global reward. To mitigate the computational complexity of the Shapley Value, we introduce an approximation of marginal contribution and utilize Monte Carlo sampling to estimate it. We evaluate our method on an Alice & Bob example and MPE environments across different scenarios. Our results demonstrate that our method effectively assigns spatial-temporal credit, outperforming all state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL