Phantom — A RL-driven multi-agent framework to model complex systems

要約

エージェント ベース モデリング (ABM) は、システム内の自律的な意思決定コンポーネントまたはエージェントの動作を指定し、それらの相互作用からシステム ダイナミクスを明らかにできるようにすることで、複雑なシステムをモデル化するための計算アプローチです。
マルチエージェント強化学習 (MARL) の分野における最近の進歩により、複数のエージェントが同時に学習する複雑な環境の平衡を研究することが可能になりました。
ただし、ほとんどの ABM フレームワークは、エージェントの動作を学習するための MARL の使用と互換性のある概念やインターフェイスを提供していないため、RL ネイティブではありません。
このペーパーでは、ABM と MARL の間のギャップを埋めるための新しいオープンソース フレームワーク Phantom を紹介します。
Phantom は、経済システムや市場を含む (ただしこれらに限定されない) 複雑なマルチエージェント システムをエージェント ベースでモデリングするための RL 駆動フレームワークです。
このフレームワークは、動的な部分可観測性、エージェントのユーティリティ機能、エージェントの設定やタイプの異質性、エージェントが動作できる順序の制約（例:
Stackelberg ゲーム、またはより複雑なターンテイキング環境)。
このペーパーでは、これらの機能とその設計理論を示し、フレームワークを活用した 2 つの新しい環境を紹介します。

要約(オリジナル)

Agent based modelling (ABM) is a computational approach to modelling complex systems by specifying the behaviour of autonomous decision-making components or agents in the system and allowing the system dynamics to emerge from their interactions. Recent advances in the field of Multi-agent reinforcement learning (MARL) have made it feasible to study the equilibrium of complex environments where multiple agents learn simultaneously. However, most ABM frameworks are not RL-native, in that they do not offer concepts and interfaces that are compatible with the use of MARL to learn agent behaviours. In this paper, we introduce a new open-source framework, Phantom, to bridge the gap between ABM and MARL. Phantom is an RL-driven framework for agent-based modelling of complex multi-agent systems including, but not limited to economic systems and markets. The framework aims to provide the tools to simplify the ABM specification in a MARL-compatible way – including features to encode dynamic partial observability, agent utility functions, heterogeneity in agent preferences or types, and constraints on the order in which agents can act (e.g. Stackelberg games, or more complex turn-taking environments). In this paper, we present these features, their design rationale and present two new environments leveraging the framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google