QGNN: Value Function Factorisation with Graph Neural Networks

要約

マルチエージェント強化学習では、グローバル目標の使用は、協力を促進するための強力なツールです。
残念ながら、グローバル報酬を使用して個々のエージェントをトレーニングすることはサンプル効率的ではありません。これは、エージェントの個々のアクションと必ずしも相関しているわけではないためです。
この問題は、グローバル値関数をローカル値関数に因数分解することで解決できます。
この分野の初期の研究では、純粋にローカル情報に基づいてローカル値関数を条件付けすることによって因数分解が実行されました。
最近、ローカル情報とグローバル状態のエンコードの両方を提供すると、協力的な行動が促進されることが示されました。
この論文では、グラフ ニューラル ネットワーク (GNN) ベースのモデルを使用する最初の値因数分解手法である QGNN を提案します。
QGNN の多層メッセージ パッシング アーキテクチャは、以前の研究のモデルよりも表現の複雑さを提供し、より効果的な因数分解を生成できるようにします。
QGNN は、パラメータが大幅に少ない場合でも、他のメソッドのパフォーマンスに匹敵することができる順列不変ミキサーも導入しています。
QMIX-Att、GraphMIX、QMIX、VDN、ハイブリッド アーキテクチャなどのいくつかのベースラインに対してメソッドを評価します。
私たちの実験には、単位割り当ての標準ベンチマークである Starcraft が含まれます。
Estimate Game、エージェント間の依存関係を明示的にモデル化するカスタム環境。
そして、現実世界のアプリケーションの基本的な問題である連合構造の生成。
結果は、QGNN が最先端の値因数分解ベースラインを一貫して上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

In multi-agent reinforcement learning, the use of a global objective is a powerful tool for incentivising cooperation. Unfortunately, it is not sample-efficient to train individual agents with a global reward, because it does not necessarily correlate with an agent’s individual actions. This problem can be solved by factorising the global value function into local value functions. Early work in this domain performed factorisation by conditioning local value functions purely on local information. Recently, it has been shown that providing both local information and an encoding of the global state can promote cooperative behaviour. In this paper we propose QGNN, the first value factorisation method to use a graph neural network (GNN) based model. The multi-layer message passing architecture of QGNN provides more representational complexity than models in prior work, allowing it to produce a more effective factorisation. QGNN also introduces a permutation invariant mixer which is able to match the performance of other methods, even with significantly fewer parameters. We evaluate our method against several baselines, including QMIX-Att, GraphMIX, QMIX, VDN, and hybrid architectures. Our experiments include Starcraft, the standard benchmark for credit assignment; Estimate Game, a custom environment that explicitly models inter-agent dependencies; and Coalition Structure Generation, a foundational problem with real-world applications. The results show that QGNN outperforms state-of-the-art value factorisation baselines consistently.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google