Approximating Energy Market Clearing and Bidding With Model-Based Reinforcement Learning

要約

エネルギー市場は、市場参加者の望ましくない行動に対するインセンティブを提供することができる。マルチエージェント強化学習（MARL）は、エネルギー市場参加者の期待される行動を決定するための有望な新しいアプローチである。しかし、強化学習は収束するためにシステムとの多くの相互作用を必要とし、電力システム環境はしばしば市場清算のための最適電力フロー（OPF）計算など、大規模な計算で構成されている。この複雑さに対処するため、我々は基本的なMARLアルゴリズムに、学習済みOPF代理モデルと明示的な市場ルールという形で、エネルギー市場のモデルを提供する。学習されたOPF代理モデルにより、OPFの明示的な解法は完全に不要となる。我々の実験では、このモデルによって学習時間が1桁ほど短縮されることが実証されたが、その代償としてナッシュ均衡の近似が若干悪くなった。本手法は、市場設計、より現実的な市場参加者のモデル化、および操作行動の分析に応用できる可能性がある。

要約(オリジナル)

Energy markets can provide incentives for undesired behavior of market participants. Multi-agent Reinforcement learning (MARL) is a promising new approach to determine the expected behavior of energy market participants. However, reinforcement learning requires many interactions with the system to converge, and the power system environment often consists of extensive computations, e.g., optimal power flow (OPF) calculation for market clearing. To tackle this complexity, we provide a model of the energy market to a basic MARL algorithm, in form of a learned OPF approximation and explicit market rules. The learned OPF surrogate model makes an explicit solving of the OPF completely unnecessary. Our experiments demonstrate that the model additionally reduces training time by about one order of magnitude, but at the cost of a slightly worse approximation of the Nash equilibrium. Potential applications of our method are market design, more realistic modeling of market participants, and analysis of manipulative behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL