Learning in Mean Field Games: A Survey

要約

非常に多数のプレイヤーが参加する非協力型および協力型ゲームには多くの用途がありますが、プレイヤーの数が増えると一般に扱いにくくなります。
Lasry と Lions、および Huang、Caines、Malham\’e によって導入された平均フィールド ゲーム (MFG) は、平均フィールド近似に依存して、プレイヤーの数を無限に増やすことができます。
これらのゲームを解くための従来の方法は、一般に、モデルの完全な知識を使用して偏微分方程式または確率微分方程式を解くことに依存しています。
最近、強化学習 (RL) が複雑な問題を大規模に解決できる可能性があることが明らかになりました。
RL と MFG の組み合わせは、人口規模と環境の複雑さの両方の観点から、非常に大規模なゲームを解決できると期待されています。
この調査では、MFG における均衡と社会的最適性を学ぶための RL 手法に関する最近急速に増えている文献をレビューします。
まず、MFG の最も一般的な設定 (静的、定常、および発展的) を特定します。
次に、MFG を正確な方法で解決するための古典的な反復手法 (最良応答計算またはポリシー評価に基づく) の一般的なフレームワークを提示します。
これらのアルゴリズムとマルコフ決定プロセスとの関係に基づいて、RL を使用してモデルフリーの方法で MFG ソリューションを学習する方法を説明します。
最後に、ベンチマーク問題の数値図を示し、いくつかの視点で締めくくります。

要約(オリジナル)

Non-cooperative and cooperative games with a very large number of players have many applications but remain generally intractable when the number of players increases. Introduced by Lasry and Lions, and Huang, Caines and Malham\’e, Mean Field Games (MFGs) rely on a mean-field approximation to allow the number of players to grow to infinity. Traditional methods for solving these games generally rely on solving partial or stochastic differential equations with a full knowledge of the model. Recently, Reinforcement Learning (RL) has appeared promising to solve complex problems at scale. The combination of RL and MFGs is promising to solve games at a very large scale both in terms of population size and environment complexity. In this survey, we review the quickly growing recent literature on RL methods to learn equilibria and social optima in MFGs. We first identify the most common settings (static, stationary, and evolutive) of MFGs. We then present a general framework for classical iterative methods (based on best-response computation or policy evaluation) to solve MFGs in an exact way. Building on these algorithms and the connection with Markov Decision Processes, we explain how RL can be used to learn MFG solutions in a model-free way. Last, we present numerical illustrations on a benchmark problem, and conclude with some perspectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google