Can Reinforcement Learning support policy makers? A preliminary study with Integrated Assessment Models

要約

世界中の政府は、証拠に基づいて意思決定を行うことを望んでいます。
政策立案の基礎の多く – 例:
社会のニーズに関連するパターンの検知、証拠に基づいたプログラムの開発、政策変更の潜在的な結果の予測、政策プログラムの有効性の監視などは、大規模なデータセットやシミュレーションとインテリジェントなアルゴリズムの併用から恩恵を受ける可能性があります。
これらは、科学的証拠に基づいた方法で設計および導入されれば、政策決定に対するより包括的、迅速かつ厳密なアプローチを可能にする可能性があります。
統合評価モデル (IAM) は、社会と経済の主要な特徴と生物圏を 1 つのモデリング フレームワークに結び付けることを試みる科学モデルを網羅する広範な包括的概念です。
現在、これらのシステムは政策立案者や諮問グループによって仮説に基づいた方法で調査されています。
この論文では、最新の強化学習を使用して IAM を調査し、より原則的な方法で解決策の空間を探索できることを実証的に示します。
環境が単純化されているため、結果が意味するものは控えめですが、これはより野心的な使用例への足がかりとなり、ポリシーを効果的に調査し、その結果と制限を理解できるようになると考えています。

要約(オリジナル)

Governments around the world aspire to ground decision-making on evidence. Many of the foundations of policy making – e.g. sensing patterns that relate to societal needs, developing evidence-based programs, forecasting potential outcomes of policy changes, and monitoring effectiveness of policy programs – have the potential to benefit from the use of large-scale datasets or simulations together with intelligent algorithms. These could, if designed and deployed in a way that is well grounded on scientific evidence, enable a more comprehensive, faster, and rigorous approach to policy making. Integrated Assessment Models (IAM) is a broad umbrella covering scientific models that attempt to link main features of society and economy with the biosphere into one modelling framework. At present, these systems are probed by policy makers and advisory groups in a hypothesis-driven manner. In this paper, we empirically demonstrate that modern Reinforcement Learning can be used to probe IAMs and explore the space of solutions in a more principled manner. While the implication of our results are modest since the environment is simplistic, we believe that this is a stepping stone towards more ambitious use cases, which could allow for effective exploration of policies and understanding of their consequences and limitations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google