Learning Sparse Graphon Mean Field Games

要約

マルチエージェント強化学習 (MARL) の分野はここ数年でかなりの進歩を遂げましたが、多数のエージェントを使用してシステムを解決することは依然として困難な課題です。
Graphon 平均場ゲーム (GMFG) は、他の方法では扱いにくい MARL 問題のスケーラブルな解析を可能にします。
グラフォンの数学的構造により、このアプローチはべき乗則グラフなどの多くの実世界のネットワークを記述するには不十分な高密度グラフに限定されます。
私たちの論文では、LPGMFG と呼ばれる GMFG の新しい定式化を紹介します。これは、$L^p$ グラフォンのグラフ理論的概念を活用し、機械学習ツールを提供して、疎なネットワーク問題の解を効率的かつ正確に近似します。
これには特に、さまざまなアプリケーション分野で経験的に観察され、標準的なグラフォンでは捉えることができないべき法則ネットワークが含まれます。
理論的な存在と収束の保証を導出し、多くのエージェントを持つシステムに対する学習アプローチの精度を実証する経験的な例を示します。
さらに、Online Mirror Descent (OMD) 学習アルゴリズムをセットアップに拡張して、学習速度を加速し、経験的にその機能を示し、平滑化されたステップグラフォンの新しい概念を使用して理論的分析を行います。
一般的に、私たちはスケーラブルで数学的に十分に根拠のある機械学習アプローチを、多くの研究分野で非常に関連性のある扱いにくい問題の大規模なクラスに提供します。

要約(オリジナル)

Although the field of multi-agent reinforcement learning (MARL) has made considerable progress in the last years, solving systems with a large number of agents remains a hard challenge. Graphon mean field games (GMFGs) enable the scalable analysis of MARL problems that are otherwise intractable. By the mathematical structure of graphons, this approach is limited to dense graphs which are insufficient to describe many real-world networks such as power law graphs. Our paper introduces a novel formulation of GMFGs, called LPGMFGs, which leverages the graph theoretical concept of $L^p$ graphons and provides a machine learning tool to efficiently and accurately approximate solutions for sparse network problems. This especially includes power law networks which are empirically observed in various application areas and cannot be captured by standard graphons. We derive theoretical existence and convergence guarantees and give empirical examples that demonstrate the accuracy of our learning approach for systems with many agents. Furthermore, we extend the Online Mirror Descent (OMD) learning algorithm to our setup to accelerate learning speed, empirically show its capabilities, and conduct a theoretical analysis using the novel concept of smoothed step graphons. In general, we provide a scalable, mathematically well-founded machine learning approach to a large class of otherwise intractable problems of great relevance in numerous research fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google