Approximate Nash Equilibrium Learning for n-Player Markov Games in Dynamic Pricing

要約

複数のエージェントが競争し、複数のナッシュ均衡が存在しうる競争マルコフゲーム（MG）環境におけるナッシュ均衡学習を研究する。特に、寡占的な動的価格設定環境では、次元の呪いにより厳密なナッシュ均衡を求めることは困難である。我々は、近似的なナッシュ均衡を求める新しいモデルフリー手法を開発する。そして、勾配を用いないブラックボックス最適化を適用して、エージェントが一方的に任意の共同政策から逸脱することの最大報酬優位性である$epsilon$を推定し、任意の状態に対して$epsilon$を最小化する政策を推定する。政策と$$epsilon$の対応と、状態から$$epsilon$最小化政策への対応 はニューラルネットワークで表現され、後者はナッシュ政策ネットである。バッチ更新の間、ナッシュ政策ネットを用いて行動確率を調整することにより、システムのナッシュQ学習を行う。特に、厳密解がしばしば困難なダイナミックプライシング領域において、近似的なナッシュ均衡が学習可能であることを示す。

要約(オリジナル)

We investigate Nash equilibrium learning in a competitive Markov Game (MG) environment, where multiple agents compete, and multiple Nash equilibria can exist. In particular, for an oligopolistic dynamic pricing environment, exact Nash equilibria are difficult to obtain due to the curse-of-dimensionality. We develop a new model-free method to find approximate Nash equilibria. Gradient-free black box optimization is then applied to estimate $\epsilon$, the maximum reward advantage of an agent unilaterally deviating from any joint policy, and to also estimate the $\epsilon$-minimizing policy for any given state. The policy-$\epsilon$ correspondence and the state to $\epsilon$-minimizing policy are represented by neural networks, the latter being the Nash Policy Net. During batch update, we perform Nash Q learning on the system, by adjusting the action probabilities using the Nash Policy Net. We demonstrate that an approximate Nash equilibrium can be learned, particularly in the dynamic pricing domain where exact solutions are often intractable.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL