Provably Fast Convergence of Independent Natural Policy Gradient for Markov Potential Games

要約

この研究では、マルコフ ポテンシャル ゲームにおけるマルチエージェント強化学習問題に対する独立した自然政策勾配 (NPG) アルゴリズムを研究します。
穏やかな技術的仮定と \textit{準最適性ギャップ} の導入の下で、正確な政策評価を提供するオラクルを備えた独立した NPG 手法は、$\mathcal{ 内で $\epsilon$-ナッシュ均衡 (NE) に漸近的に到達することが示されています。
O}(1/\epsilon)$ 反復。
これは、以前の $\mathcal{O}(1/\epsilon^2)$ 反復の最良の結果を改善しており、同じ次数の $\mathcal{O}(1/\epsilon)$ であり、
単独エージェントの場合。
理論上の限界を検証するために、合成ポテンシャル ゲームと輻輳ゲームの実験結果が示されています。

要約(オリジナル)

This work studies an independent natural policy gradient (NPG) algorithm for the multi-agent reinforcement learning problem in Markov potential games. It is shown that, under mild technical assumptions and the introduction of the \textit{suboptimality gap}, the independent NPG method with an oracle providing exact policy evaluation asymptotically reaches an $\epsilon$-Nash Equilibrium (NE) within $\mathcal{O}(1/\epsilon)$ iterations. This improves upon the previous best result of $\mathcal{O}(1/\epsilon^2)$ iterations and is of the same order, $\mathcal{O}(1/\epsilon)$, that is achievable for the single-agent case. Empirical results for a synthetic potential game and a congestion game are presented to verify the theoretical bounds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google