Last Iterate Convergence in Monotone Mean Field Games

要約

Mean Field Game (MFG) は、多数のエージェントの動作をモデル化して近似するために利用されるフレームワークであり、MFG における均衡の計算は関心の対象となっています。
均衡を近似する方法が提案されているにもかかわらず、更新されたポリシーのシーケンスが均衡に収束するアルゴリズム、特に最後の反復収束を示すアルゴリズムは限られています。
MFG の平衡を計算するために、単純な近位点タイプのアルゴリズムの使用を提案します。
続いて、Lasry-Lions 型の単調性条件の下で最初の最終反復収束保証を提供します。
さらに、正規化された MFG に対してミラー降下アルゴリズムを使用して、MFG の近接点法の更新ルールを効率的に近似します。
$\mathcal{O}({\log(1/\varepsilon)})$ 回の反復後にアルゴリズムが $\varepsilon$ の精度で近似できることを示します。
この研究は、大規模かつ人口の多いゲームに対する扱いやすいアプローチを提供します。

要約(オリジナル)

Mean Field Game (MFG) is a framework utilized to model and approximate the behavior of a large number of agents, and the computation of equilibria in MFG has been a subject of interest. Despite the proposal of methods to approximate the equilibria, algorithms where the sequence of updated policy converges to equilibrium, specifically those exhibiting last-iterate convergence, have been limited. We propose the use of a simple, proximal-point-type algorithm to compute equilibria for MFGs. Subsequently, we provide the first last-iterate convergence guarantee under the Lasry–Lions-type monotonicity condition. We further employ the Mirror Descent algorithm for the regularized MFG to efficiently approximate the update rules of the proximal point method for MFGs. We demonstrate that the algorithm can approximate with an accuracy of $\varepsilon$ after $\mathcal{O}({\log(1/\varepsilon)})$ iterations. This research offers a tractable approach for large-scale and large-population games.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google