Simulating the economic impact of rationality through reinforcement learning and agent-based modelling

要約

エージェント・ベース・モデル（ABM）は、一般均衡の仮定に基づく従来の枠組みの限界を克服するために経済学で用いられるシミュレーション・モデルである。しかし、ABM内のエージェントは、完全に合理的なものではなく、あらかじめ決められた行動ルールに従って行動するため、設計が面倒であったり、正当化が困難であったりする。ここでは、マルチエージェント強化学習（RL）を活用し、環境と相互作用して報酬関数を最大化することで方針を学習する完全に合理的なエージェントを導入することで、ABMの機能を拡張する。具体的には、経済文献のパラダイム的なマクロABMを拡張して、「合理的マクロABM」（R-MABM）フレームワークを提案する。モデル中のABM企業を、利潤を最大化するように訓練されたRLエージェントに徐々に置き換えていくことで、合理性が経済に与える影響を徹底的に研究できることを示す。その結果、RLエージェントは利潤を最大化するための3つの異なる戦略を自発的に学習し、その最適戦略は市場競争の程度と合理性に依存することがわかった。また、独立した政策を持ち、互いにコミュニケーションする能力を持たないRLエージェントは、自発的に異なる戦略グループに分離することを学習し、その結果、市場パワーと全体的な利益を増大させることがわかった。最後に、経済における合理性の程度が高いほど、総生産で測定されるマクロ経済環境が常に改善されることを見出した。我々のR-MABMフレームワークは一般的であり、安定したマルチエージェント学習を可能にし、既存の経済シミュレータを拡張するための原理的で頑健な方向性を示している。

要約(オリジナル)

Agent-based models (ABMs) are simulation models used in economics to overcome some of the limitations of traditional frameworks based on general equilibrium assumptions. However, agents within an ABM follow predetermined, not fully rational, behavioural rules which can be cumbersome to design and difficult to justify. Here we leverage multi-agent reinforcement learning (RL) to expand the capabilities of ABMs with the introduction of fully rational agents that learn their policy by interacting with the environment and maximising a reward function. Specifically, we propose a ‘Rational macro ABM’ (R-MABM) framework by extending a paradigmatic macro ABM from the economic literature. We show that gradually substituting ABM firms in the model with RL agents, trained to maximise profits, allows for a thorough study of the impact of rationality on the economy. We find that RL agents spontaneously learn three distinct strategies for maximising profits, with the optimal strategy depending on the level of market competition and rationality. We also find that RL agents with independent policies, and without the ability to communicate with each other, spontaneously learn to segregate into different strategic groups, thus increasing market power and overall profits. Finally, we find that a higher degree of rationality in the economy always improves the macroeconomic environment as measured by total output, depending on the specific rational policy, this can come at the cost of higher instability. Our R-MABM framework is general, it allows for stable multi-agent learning, and represents a principled and robust direction to extend existing economic simulators.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL