Markov $α$-Potential Games: Equilibrium Approximation and Regret Analysis

要約

この論文は、マルコフ ゲームにおけるマルチエージェント相互作用を研究するための新しいフレームワーク、マルコフ $\alpha$ ポテンシャル ゲームを提案します。
マルコフ ゲームにおける一方的な政策逸脱の下でのプレイヤーの価値関数の変化とマルコフ ポテンシャル ゲームの間のペアごとの差が $ によって制限されるようなマルコフ ポテンシャル ゲームが存在する場合、そのゲームはマルコフ $\alpha$ ポテンシャル ゲームと呼ばれます。
\アルファ$。
特殊なケースとして、マルコフ ポテンシャル ゲームは、$\alpha=0$ のマルコフ $\alpha$ ポテンシャル ゲームです。
$\alpha$ のゲーム パラメータへの依存性は、マルコフ輻輳ゲームと摂動マルコフ チーム ゲームという、実際に関連する 2 つのクラスのゲームでも明確に特徴付けられます。
一般的なマルコフ ゲームでは、$\alpha$ に関して指定されたゲームに最も近いマルコフ ポテンシャル ゲームを計算できる最適化ベースのアプローチが導入されます。
このアプローチは、ゲームがマルコフ ポテンシャル ゲームであるかどうかを検証し、ポテンシャル関数の候補を提供するためにも使用できます。
マルコフ $\alpha$ ポテンシャル ゲームにおける定常ナッシュ均衡を近似するために、投影勾配上昇アルゴリズムと {逐次最大 1 段階改善} の 2 つのアルゴリズムが提供され、対応するナッシュ後悔分析が提示されます。
数値実験は、単純なアルゴリズムがマルコフ $\alpha$ ポテンシャル ゲームで近似均衡を見つけることができることを示しています。

要約(オリジナル)

This paper proposes a new framework to study multi-agent interactions in Markov games: Markov $\alpha$-potential game. A game is called Markov $\alpha$-potential game if there exists a Markov potential game such that the pairwise difference between the change of a player’s value function under a unilateral policy deviation in the Markov game and Markov potential game can be bounded by $\alpha$. As a special case, Markov potential games are Markov $\alpha$-potential games with $\alpha=0$. The dependence of $\alpha$ on the game parameters is also explicitly characterized in two classes of games that are practically-relevant: Markov congestion games and the perturbed Markov team games. For general Markov games, an optimization-based approach is introduced which can compute a Markov potential game which is closest to the given game in terms of $\alpha$. This approach can also be used to verify whether a game is a Markov potential game, and provide a candidate potential function. Two algorithms — the projected gradient-ascent algorithm and the {sequential maximum one-stage improvement} — are provided to approximate the stationary Nash equilibrium in Markov $\alpha$-potential games and the corresponding Nash-regret analysis is presented. The numerical experiments demonstrate that simple algorithms are capable of finding approximate equilibrium in Markov $\alpha$-potential games.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google