From Explicit Communication to Tacit Cooperation:A Novel Paradigm for Cooperative MARL

要約

タイトル：明示的なコミュニケーションから暗黙的な協力へ：協同型MARLのための新しいパラダイム
要約：
-CTDE（集中型トレーニングと分散型実行）は、複雑なタスクで重要な成功を収めている学習パラダイムです
-しかしながら、部分的な観測の問題とエージェント間で効果的に共有されたサインの不在は、協力を促進する効果に制限を与えることが多いです
-本研究では、人間のチームの協同学習からインスピレーションを得て、明示的なコミュニケーションから暗黙的な協力へと移行を促す新しいパラダイムを提案しています
-初期訓練で、エージェント間で関連情報を共有し、同時にそれを各エージェントのローカル軌跡を用いて再構成することで、協力を促進します。そして、明示的なコミュニケーションの情報を再構成した情報と組み合わせて、混合情報を得ます。
-トレーニングプロセス全体を通じて、明示的なコミュニケーションの割合を徐々に減らし、コミュニケーションなしで完全に分散型実行に移行することを容易にします
-さまざまなシナリオでの実験的結果は、コミュニケーションのない方法のパフォーマンスがQMIXやコミュニケーションに基づく方法に匹敵またはそれを超えることを示しています。

要約(オリジナル)

Centralized training with decentralized execution (CTDE) is a widely-used learning paradigm that has achieved significant success in complex tasks. However, partial observability issues and the absence of effectively shared signals between agents often limit its effectiveness in fostering cooperation. While communication can address this challenge, it simultaneously reduces the algorithm’s practicality. Drawing inspiration from human team cooperative learning, we propose a novel paradigm that facilitates a gradual shift from explicit communication to tacit cooperation. In the initial training stage, we promote cooperation by sharing relevant information among agents and concurrently reconstructing this information using each agent’s local trajectory. We then combine the explicitly communicated information with the reconstructed information to obtain mixed information. Throughout the training process, we progressively reduce the proportion of explicitly communicated information, facilitating a seamless transition to fully decentralized execution without communication. Experimental results in various scenarios demonstrate that the performance of our method without communication can approaches or even surpasses that of QMIX and communication-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI