Convergence of Time-Averaged Mean Field Gradient Descent Dynamics for Continuous Multi-Player Zero-Sum Games

要約

平均フィールド相互作用プレーヤーを備えたゼロサムゲームの混合ナッシュ平衡（MNE）の近似は、最近、機械学習に大きな関心を集めました。
このペーパーでは、$ k \ geq 2 $の$ k $プレーヤーが関与するゼロサムゲームのMNEを見つけるための平均フィールド勾配降下ダイナミクスを提案します。
プレイヤーの戦略分布の進化は、勾配の指数関数的に割引された時間平均を組み込んだ、勢いを伴う結合平均場勾配降下流に従います。
第一に、固定エントロピー正規化の場合、総変動メトリックに関する混合ナッシュ平衡に対する平均フィールドダイナミクスの指数収束率を証明します。
これにより、異なる平均化因子を持つ同様の時間平均ダイナミクスの以前の多項式収束率が向上します。
さらに、MNEを見つけるための以前の2スケールアプローチとは異なり、私たちのアプローチはすべてのプレーヤータイプを同じ時間尺度で扱います。
また、適切な選択肢の低下を選択すると、平均フィールドダイナミクスのシミュレートされたアニーリングバージョンが最初の正規化されていない問題のMNEに収束することを示しています。

要約(オリジナル)

The approximation of mixed Nash equilibria (MNE) for zero-sum games with mean-field interacting players has recently raised much interest in machine learning. In this paper we propose a mean-field gradient descent dynamics for finding the MNE of zero-sum games involving $K$ players with $K\geq 2$. The evolution of the players’ strategy distributions follows coupled mean-field gradient descent flows with momentum, incorporating an exponentially discounted time-averaging of gradients. First, in the case of a fixed entropic regularization, we prove an exponential convergence rate for the mean-field dynamics to the mixed Nash equilibrium with respect to the total variation metric. This improves a previous polynomial convergence rate for a similar time-averaged dynamics with different averaging factors. Moreover, unlike previous two-scale approaches for finding the MNE, our approach treats all player types on the same time scale. We also show that with a suitable choice of decreasing temperature, a simulated annealing version of the mean-field dynamics converges to an MNE of the initial unregularized problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google