Learning Regularized Graphon Mean-Field Games with Unknown Graphons

要約

私たちは、グラフン平均場ゲーム (GMFG) の強化学習アルゴリズムを設計および分析します。
グラフォンの正確な値を必要とする以前の研究とは対照的に、グラフォンが未知の場合の正則化 GMFG のナッシュ均衡 (NE) を学習することを目的としています。
私たちの貢献は 3 つあります。
まず、GMFG の近接ポリシー最適化 (GMFG-PPO) アルゴリズムを提案し、推定オラクルによる $T$ 回の反復後に $O(T^{-1/3})$ のレートで収束し、次の点が改善されることを示します。
Xieらによる以前の研究。
(ICML、2021)。
次に、分布のカーネル埋め込みを使用して、サンプリングされたエージェントから遷移カーネル、報酬関数、およびグラフォンを推定する効率的なアルゴリズムを設計します。
次に、エージェントの位置が既知または未知の場合の収束率が導出されます。
次に、最適化アルゴリズム GMFG-PPO と推定アルゴリズムを組み合わせた結果が提供されます。
これらのアルゴリズムは、サンプリングされたエージェントからグラフォンを学習するために特別に設計された初めてのものです。
最後に、提案されたアルゴリズムの有効性がシミュレーションによって確認されます。
これらのシミュレーションは、未知のグラフォンを学習することで悪用可能性が効果的に低減されることを示しています。

要約(オリジナル)

We design and analyze reinforcement learning algorithms for Graphon Mean-Field Games (GMFGs). In contrast to previous works that require the precise values of the graphons, we aim to learn the Nash Equilibrium (NE) of the regularized GMFGs when the graphons are unknown. Our contributions are threefold. First, we propose the Proximal Policy Optimization for GMFG (GMFG-PPO) algorithm and show that it converges at a rate of $O(T^{-1/3})$ after $T$ iterations with an estimation oracle, improving on a previous work by Xie et al. (ICML, 2021). Second, using kernel embedding of distributions, we design efficient algorithms to estimate the transition kernels, reward functions, and graphons from sampled agents. Convergence rates are then derived when the positions of the agents are either known or unknown. Results for the combination of the optimization algorithm GMFG-PPO and the estimation algorithm are then provided. These algorithms are the first specifically designed for learning graphons from sampled agents. Finally, the efficacy of the proposed algorithms are corroborated through simulations. These simulations demonstrate that learning the unknown graphons reduces the exploitability effectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google