Exploring the Benefits of Teams in Multiagent Learning

要約

協力が必要な問題については、多くのマルチエージェント システムが、個々のエージェント間で、または共通の目標に向かって集団全体で解決策を実装します。
マルチエージェント チームは主に紛争時に研究されます。
しかし、組織心理学 (OP) は、調整と協力の方法を学ぶ上で人間集団間のチームの利点を強調しています。
この論文では、OP と人工知能のチームに関する初期の研究に触発された、強化学習 (RL) エージェント用のマルチエージェント チームの新しいモデルを提案します。
最近のマルチエージェント RL で一般的な複雑な社会的ジレンマを使用してモデルを検証したところ、チームに分割されたエージェントは、協力しないインセンティブにもかかわらず、協力的な向社会的ポリシーを開発することがわかりました。
さらに、エージェントはチーム内での新たな役割をうまく調整して学習することができ、すべてのエージェントの利益が一致している場合に比べて、より高い報酬を獲得できます。

要約(オリジナル)

For problems requiring cooperation, many multiagent systems implement solutions among either individual agents or across an entire population towards a common goal. Multiagent teams are primarily studied when in conflict; however, organizational psychology (OP) highlights the benefits of teams among human populations for learning how to coordinate and cooperate. In this paper, we propose a new model of multiagent teams for reinforcement learning (RL) agents inspired by OP and early work on teams in artificial intelligence. We validate our model using complex social dilemmas that are popular in recent multiagent RL and find that agents divided into teams develop cooperative pro-social policies despite incentives to not cooperate. Furthermore, agents are better able to coordinate and learn emergent roles within their teams and achieve higher rewards compared to when the interests of all agents are aligned.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google