Partially Observable Mean Field Multi-Agent Reinforcement Learning Based on Graph-Attention

要約

従来のマルチエージェント強化学習アルゴリズムは、大規模なマルチエージェント環境に適用するのが困難です。
近年、平均場理論の導入により、マルチエージェント強化学習の拡張性が向上しました。
この論文では、各エージェントが固定範囲内の他のエージェントのみを観察できる、部分的に観察可能なマルチエージェント強化学習 (MARL) について検討します。
この部分的な可観測性は、周囲のエージェントのアクションの質を評価するエージェントの能力に影響します。
この論文は、より効果的な行動を選択するために、現地の観察からより効果的な情報を取得する方法の開発に焦点を当てています。
この分野におけるこれまでの研究では、確率分布または加重平均場を使用して近隣エージェントの平均アクションを更新していましたが、周囲の近隣エージェントの特徴情報が十分に考慮されておらず、局所的な最適化につながりました。
この論文では、この欠陥を修正するために、新しいマルチエージェント強化学習アルゴリズム、グラフ注意に基づく部分的に観察可能な平均場マルチエージェント強化学習 (GAMFQ) を提案します。
GAMFQ は、グラフ アテンション モジュールと平均フィールド モジュールを使用して、各タイム ステップでエージェントが他のエージェントのアクションからどのような影響を受けるかを記述します。
このグラフ アテンション モジュールは、グラフ アテンション エンコーダと微分可能なアテンション メカニズムで構成され、このメカニズムは中央エージェントに対する近隣エージェントの有効性を表す動的グラフを出力します。
平均場モジュールは、中心エージェントに対する近隣エージェントの効果を、有効な近隣エージェントの平均効果として近似します。
実験では、GAMFQ が最先端の部分観測可能な平均場強化学習アルゴリズムを含むベースラインを上回るパフォーマンスを示すことが示されています。
この論文のコードは、\url{https://github.com/yangmin32/GPMF} にあります。

要約(オリジナル)

Traditional multi-agent reinforcement learning algorithms are difficultly applied in a large-scale multi-agent environment. The introduction of mean field theory has enhanced the scalability of multi-agent reinforcement learning in recent years. This paper considers partially observable multi-agent reinforcement learning (MARL), where each agent can only observe other agents within a fixed range. This partial observability affects the agent’s ability to assess the quality of the actions of surrounding agents. This paper focuses on developing a method to capture more effective information from local observations in order to select more effective actions. Previous work in this field employs probability distributions or weighted mean field to update the average actions of neighborhood agents, but it does not fully consider the feature information of surrounding neighbors and leads to a local optimum. In this paper, we propose a novel multi-agent reinforcement learning algorithm, Partially Observable Mean Field Multi-Agent Reinforcement Learning based on Graph-Attention (GAMFQ) to remedy this flaw. GAMFQ uses a graph attention module and a mean field module to describe how an agent is influenced by the actions of other agents at each time step. This graph attention module consists of a graph attention encoder and a differentiable attention mechanism, and this mechanism outputs a dynamic graph to represent the effectiveness of neighborhood agents against central agents. The mean-field module approximates the effect of a neighborhood agent on a central agent as the average effect of effective neighborhood agents. Experiments show that GAMFQ outperforms baselines including the state-of-the-art partially observable mean-field reinforcement learning algorithms. The code for this paper is here \url{https://github.com/yangmin32/GPMF}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google