Distributed Influence-Augmented Local Simulators for Parallel MARL in Large Networked Systems

要約

その高いサンプル複雑性から、今日のところ、強化学習をうまく応用するためにはシミュレーションが不可欠である。しかし、現実の問題の多くは、複雑すぎるダイナミクスを示すため、本格的なシミュレーションには計算時間がかかる。本論文では、多数のエージェントからなる大規模なネットワークシステムを複数のローカルコンポーネントに分解し、独立かつ並列に動作する別々のシミュレータを構築する方法を示す。異なるローカルコンポーネントが互いに及ぼす影響を監視するために、これらのシミュレータはそれぞれ、実際の軌道で定期的に学習される学習済みモデルを備えている。我々の実証結果から、シミュレーションを異なるプロセスに分散させることで、大規模なマルチエージェントシステムをわずか数時間で訓練することが可能になるだけでなく、同時学習の弊害を軽減できることが明らかになった。

要約(オリジナル)

Due to its high sample complexity, simulation is, as of today, critical for the successful application of reinforcement learning. Many real-world problems, however, exhibit overly complex dynamics, which makes their full-scale simulation computationally slow. In this paper, we show how to decompose large networked systems of many agents into multiple local components such that we can build separate simulators that run independently and in parallel. To monitor the influence that the different local components exert on one another, each of these simulators is equipped with a learned model that is periodically trained on real trajectories. Our empirical results reveal that distributing the simulation among different processes not only makes it possible to train large multi-agent systems in just a few hours but also helps mitigate the negative effects of simultaneous learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL