Bounded Rationality Equilibrium Learning in Mean Field Games

要約

Mean Field Games (MFG) は、大規模なエージェント集団における行動を扱いやすくモデル化します。
MFG 均衡の学習に関する文献は通常、ナッシュ均衡 (NE) を見つけることに焦点を当てていますが、ナッシュ均衡は完全に合理的なエージェントを想定しているため、多くの現実的な状況ではありえません。
これらの制限を克服するために、量子応答均衡 (QRE) のよく知られた概念を活用して、有限合理性を MFG に組み込みます。
2 つの新しいタイプの MFG QRE により、個人が真の目的を騒々しく推定するだけである大規模なエージェント集団のモデリングが可能になります。
また、代理店の計画期間を制限することで、MFG に限定された合理性の 2 番目の源泉を導入します。
結果として得られる新しい後退地平線 (RH) MFG は、QRE および既存のアプローチと組み合わされて、MFG における限定された合理性のさまざまな側面をモデル化します。
MFG QRE および RH MFG を正式に定義し、それらをエントロピー正則化 NE などの既存の平衡概念と比較します。
続いて、QRE と RH の平衡を学習するために、一般化された固定小数点反復と架空の再生アルゴリズムを設計します。
理論的分析の後、学習アルゴリズムの機能を評価するためにさまざまな例を示し、平衡概念間の実際的な違いを概説します。

要約(オリジナル)

Mean field games (MFGs) tractably model behavior in large agent populations. The literature on learning MFG equilibria typically focuses on finding Nash equilibria (NE), which assume perfectly rational agents and are hence implausible in many realistic situations. To overcome these limitations, we incorporate bounded rationality into MFGs by leveraging the well-known concept of quantal response equilibria (QRE). Two novel types of MFG QRE enable the modeling of large agent populations where individuals only noisily estimate the true objective. We also introduce a second source of bounded rationality to MFGs by restricting agents’ planning horizon. The resulting novel receding horizon (RH) MFGs are combined with QRE and existing approaches to model different aspects of bounded rationality in MFGs. We formally define MFG QRE and RH MFGs and compare them to existing equilibrium concepts such as entropy-regularized NE. Subsequently, we design generalized fixed point iteration and fictitious play algorithms to learn QRE and RH equilibria. After a theoretical analysis, we give different examples to evaluate the capabilities of our learning algorithms and outline practical differences between the equilibrium concepts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google