Learning Discrete-Time Major-Minor Mean Field Games

要約

Mean Field Games (MFG) に基づく最近の技術により、多くの同様の合理的なエージェントを使用したマルチプレイヤー ゲームのスケーラブルな分析が可能になります。
ただし、標準的な MFG は、依然として相互に弱い影響を与える同種のプレーヤーに限定されており、他のプレーヤーに強い影響を与える主要なプレーヤーをモデル化することができないため、処理できる問題のクラスが大幅に制限されます。
我々は、架空の遊びと確率単体の分割に基づく学習アルゴリズムとともに、メジャーマイナー MFG (M3FG) の新しい離散時間バージョンを提案します。
重要なのは、M3FG は共通ノイズを持つ MFG を一般化し、ランダムな外生環境状態だけでなく主要なプレーヤーも処理できることです。
主な課題は、平均フィールドが確率的であり、標準的な MFG のように決定論的ではないことです。
私たちの理論的調査は、M3FG モデルとそのア​​ルゴリズム解法の両方を検証し、まず、対象となる有限のゲームから開始する M3FG モデルの適切な設定性を示し、次に、架空のプレイ アルゴリズムの収束と近似の保証を示します。
次に、理論的仮定の一部を取り除き、得られた理論的結果を経験的に検証し、3 つの問題例で平衡学習の成功を示します。
全体として、私たちは、斬新で幅広いクラスの扱いやすいゲームのための学習フレームワークを確立します。

要約(オリジナル)

Recent techniques based on Mean Field Games (MFGs) allow the scalable analysis of multi-player games with many similar, rational agents. However, standard MFGs remain limited to homogeneous players that weakly influence each other, and cannot model major players that strongly influence other players, severely limiting the class of problems that can be handled. We propose a novel discrete time version of major-minor MFGs (M3FGs), along with a learning algorithm based on fictitious play and partitioning the probability simplex. Importantly, M3FGs generalize MFGs with common noise and can handle not only random exogeneous environment states but also major players. A key challenge is that the mean field is stochastic and not deterministic as in standard MFGs. Our theoretical investigation verifies both the M3FG model and its algorithmic solution, showing firstly the well-posedness of the M3FG model starting from a finite game of interest, and secondly convergence and approximation guarantees of the fictitious play algorithm. Then, we empirically verify the obtained theoretical results, ablating some of the theoretical assumptions made, and show successful equilibrium learning in three example problems. Overall, we establish a learning framework for a novel and broad class of tractable games.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google