Enhancing Multi-Agent Coordination through Common Operating Picture Integration

要約

マルチエージェント システムでは、エージェントは環境のローカルな観察のみを行います。
チームメイト間のコミュニケーションは、調整を強化するために重要になります。
これまでの研究は主に、ローカル情報をエンコードして人間には理解できないメッセージを埋め込むことに焦点を当ててきました。
エージェントのポリシー学習でこれらのメッセージを使用すると、配布外の初期状態でテストするとポリシーが脆弱になることがわかりました。
我々は、マルチエージェント調整へのアプローチを提案します。このアプローチでは、各エージェントが、その観察（履歴）、アクション、および受信したメッセージを共通オペレーティングピクチャ（COP）に統合し、COPを広める機能を備えています。
このプロセスでは、環境の動的な性質と共有された使命が考慮されます。
私たちのアプローチを検証するために、StarCraft2 環境で実験を実施しました。
私たちの結果は、COP 統合の有効性を実証し、分布外の初期状態に直面した場合、最先端のマルチエージェント強化学習 (MARL) 手法と比較して、COP ベースのトレーニングが堅牢なポリシーにつながることを示しています。

要約(オリジナル)

In multi-agent systems, agents possess only local observations of the environment. Communication between teammates becomes crucial for enhancing coordination. Past research has primarily focused on encoding local information into embedding messages which are unintelligible to humans. We find that using these messages in agent’s policy learning leads to brittle policies when tested on out-of-distribution initial states. We present an approach to multi-agent coordination, where each agent is equipped with the capability to integrate its (history of) observations, actions and messages received into a Common Operating Picture (COP) and disseminate the COP. This process takes into account the dynamic nature of the environment and the shared mission. We conducted experiments in the StarCraft2 environment to validate our approach. Our results demonstrate the efficacy of COP integration, and show that COP-based training leads to robust policies compared to state-of-the-art Multi-Agent Reinforcement Learning (MARL) methods when faced with out-of-distribution initial states.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google