Reinforcement Learning for Combining Search Methods in the Calibration of Economic ABMs

要約

経済学や金融におけるエージェントベース モデル (ABM) の調整には、通常、非常に大きなパラメーター空間でデリバティブを使用しない検索が必要です。
この研究では、実際のデータに基づいてよく知られたマクロ経済 ABM の調整において多数の検索手法をベンチマークし、さまざまな手法を組み合わせて作成された「混合戦略」のパフォーマンスをさらに評価します。
ランダムフォレストサロゲートに基づく方法が特に効率的であり、検索方法を組み合わせると単一の方法のバイアスが軽減されるため、一般にパフォーマンスが向上することがわかりました。
これらの観察に基づいて、キャリブレーション実行中にオンザフライで検索方法を自動的に選択して組み合わせる強化学習 (RL) スキームを提案します。
RL エージェントは、パフォーマンスが良好である限り特定のメソッドを利用し続けますが、特定のメソッドがパフォーマンスのプラトーに達すると、新しい戦略を模索します。
結果として得られる RL 検索スキームは、テストされた他の方法または方法の組み合わせよりも優れており、事前の情報や試行錯誤手順に依存しません。

要約(オリジナル)

Calibrating agent-based models (ABMs) in economics and finance typically involves a derivative-free search in a very large parameter space. In this work, we benchmark a number of search methods in the calibration of a well-known macroeconomic ABM on real data, and further assess the performance of ‘mixed strategies’ made by combining different methods. We find that methods based on random-forest surrogates are particularly efficient, and that combining search methods generally increases performance since the biases of any single method are mitigated. Moving from these observations, we propose a reinforcement learning (RL) scheme to automatically select and combine search methods on-the-fly during a calibration run. The RL agent keeps exploiting a specific method only as long as this keeps performing well, but explores new strategies when the specific method reaches a performance plateau. The resulting RL search scheme outperforms any other method or method combination tested, and does not rely on any prior information or trial and error procedure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google