Learning Mean Field Control on Sparse Graphs

要約

大規模なエージェントネットワークは、アプリケーションと性質に豊富であり、計算および理論的複雑さのためにマルチエージェント補強学習（MARL）の分野で困難な課題をもたらします。
Graphonはフィールドゲームとその拡張機能を平均して、密度と中程度のスパースエージェントネットワークの効率的な学習アルゴリズムを提供しますが、現実的なスパースのあるグラフの場合はほとんど解決されていません。
したがって、局所的な弱い収束に触発された新しい平均フィールド制御モデルを提案し、2を超える係数を持つパワーローネットなどのスパースグラフを含めることを提案します。
理論分析に加えて、有限の最初のモーメントを持つ挑戦的なクラスのグラフシーケンスに適用されるスケーラブルな学習アルゴリズムを設計します。
合成および実世界のネットワークに関するさまざまな例について、LPグラフンとグラフセックスに基づいた平均フィールドアルゴリズムとモデルとアルゴリズムを比較します。
結局のところ、私たちのアプローチは、重要なデザインを目指しているが、これまでのところMARLの問題を解決するのが難しいため、多くの例やさまざまなネットワークで既存の方法を上回ります。

要約(オリジナル)

Large agent networks are abundant in applications and nature and pose difficult challenges in the field of multi-agent reinforcement learning (MARL) due to their computational and theoretical complexity. While graphon mean field games and their extensions provide efficient learning algorithms for dense and moderately sparse agent networks, the case of realistic sparser graphs remains largely unsolved. Thus, we propose a novel mean field control model inspired by local weak convergence to include sparse graphs such as power law networks with coefficients above two. Besides a theoretical analysis, we design scalable learning algorithms which apply to the challenging class of graph sequences with finite first moment. We compare our model and algorithms for various examples on synthetic and real world networks with mean field algorithms based on Lp graphons and graphexes. As it turns out, our approach outperforms existing methods in many examples and on various networks due to the special design aiming at an important, but so far hard to solve class of MARL problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google