PEnGUiN: Partially Equivariant Graph NeUral Networks for Sample Efficient MARL

要約

等量のグラフニューラルネットワーク（EGNNS）は、マルチエージェント補強学習（MARL）における有望なアプローチとして浮上しており、サンプルの効率と一般化を大幅に改善するために対称性保証を活用しています。
ただし、実際の環境は、外力、測定の不正確さ、または固有のシステムバイアスなどの要因から生じる固有の非対称性を示すことがよくあります。
このペーパーでは、\ textit {部分的に等しく等しいグラフニューラルネットワーク（ペンギン）}を紹介します。これらの課題に対処するために特別に設計された新しいアーキテクチャ。
MARLに関連するさまざまなタイプの部分的等錯体を正式に特定し、分類します。これには、サブグループの同等性、機能ごとの同等性、地域の等語性、および近似等量を含みます。
ペンギンは、統一されたフレームワーク内で完全に等量（EGNN）と非等変量（GNN）表現の両方を学習できることを理論的に実証します。
さまざまな非対称性を取り入れたさまざまなMARL問題に関する広範な実験を通じて、ペンギンの有効性を経験的に検証します。
私たちの結果は、ペンギンが非対称環境でEGNNと標準GNNの両方を上回ることを一貫して示しており、実際のシナリオでグラフベースのMARLアルゴリズムの堅牢性と適用性を改善する可能性を強調しています。

要約(オリジナル)

Equivariant Graph Neural Networks (EGNNs) have emerged as a promising approach in Multi-Agent Reinforcement Learning (MARL), leveraging symmetry guarantees to greatly improve sample efficiency and generalization. However, real-world environments often exhibit inherent asymmetries arising from factors such as external forces, measurement inaccuracies, or intrinsic system biases. This paper introduces \textit{Partially Equivariant Graph NeUral Networks (PEnGUiN)}, a novel architecture specifically designed to address these challenges. We formally identify and categorize various types of partial equivariance relevant to MARL, including subgroup equivariance, feature-wise equivariance, regional equivariance, and approximate equivariance. We theoretically demonstrate that PEnGUiN is capable of learning both fully equivariant (EGNN) and non-equivariant (GNN) representations within a unified framework. Through extensive experiments on a range of MARL problems incorporating various asymmetries, we empirically validate the efficacy of PEnGUiN. Our results consistently demonstrate that PEnGUiN outperforms both EGNNs and standard GNNs in asymmetric environments, highlighting their potential to improve the robustness and applicability of graph-based MARL algorithms in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google