Promoting Cooperation in Multi-Agent Reinforcement Learning via Mutual Help

要約

マルチエージェント強化学習 (MARL) は、近年、協調タスクにおいて大きな進歩を遂げました。
ただし、エージェントごとにローカル報酬のみが与えられ、すべてのエージェントが共有するグローバル報酬が与えられないローカル報酬スキームでは、従来の MARL アルゴリズムでは、エージェントの相互影響が十分に考慮されていません。
協調タスクでは、エージェントはより良いパフォーマンスを達成するために調整する必要があるため、エージェントの相互影響は特に重要です。
本稿では、協力を促進するためにエージェントに互いに助け合うように指示する新しいアルゴリズム Mutual-Help-based MARL (MH-MARL) を提案します。
MH-MARL は、期待アクション モジュールを使用して、特定のエージェントごとに期待される他のエージェントのアクションを生成します。
次に、トレーニング中に選択的に模倣するために、期待されるアクションが他のエージェントに配信されます。
実験結果は、MH-MARL が成功率と累積報酬の両方で MARL のパフォーマンスを向上させることを示しています。

要約(オリジナル)

Multi-agent reinforcement learning (MARL) has achieved great progress in cooperative tasks in recent years. However, in the local reward scheme, where only local rewards for each agent are given without global rewards shared by all the agents, traditional MARL algorithms lack sufficient consideration of agents’ mutual influence. In cooperative tasks, agents’ mutual influence is especially important since agents are supposed to coordinate to achieve better performance. In this paper, we propose a novel algorithm Mutual-Help-based MARL (MH-MARL) to instruct agents to help each other in order to promote cooperation. MH-MARL utilizes an expected action module to generate expected other agents’ actions for each particular agent. Then, the expected actions are delivered to other agents for selective imitation during training. Experimental results show that MH-MARL improves the performance of MARL both in success rate and cumulative reward.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google