Approximating Energy Market Clearing and Bidding With Model-Based Reinforcement Learning

要約

エネルギー市場は、市場参加者の望ましくない行動にインセンティブを与える可能性があります。
マルチエージェント強化学習 (MARL) は、エネルギー市場参加者の予想される行動を予測するための有望な新しいアプローチです。
ただし、強化学習では収束するためにシステムとの多くの対話が必要であり、電力システム環境は多くの場合、市場清算のための最適電力流 (OPF) 計算などの大規模な計算で構成されます。
この複雑さに取り組むために、学習された OPF 近似と明示的な市場ルールの形式で、基本的な MARL アルゴリズムにエネルギー市場のモデルを提供します。
学習された OPF サロゲート モデルにより、OPF の明示的な解決は完全に不要になります。
私たちの実験では、このモデルによりトレーニング時間がさらに約 1 桁短縮されることが示されましたが、その代償としてナッシュ均衡の近似がわずかに悪くなります。
私たちの手法の潜在的な応用例は、市場設計、市場参加者のより現実的なモデリング、操作的行動の分析です。

要約(オリジナル)

Energy markets can provide incentives for undesired behavior of market participants. Multi-agent Reinforcement learning (MARL) is a promising new approach to predicting the expected behavior of energy market participants. However, reinforcement learning requires many interactions with the system to converge, and the power system environment often consists of extensive computations, e.g., optimal power flow (OPF) calculation for market clearing. To tackle this complexity, we provide a model of the energy market to a basic MARL algorithm in the form of a learned OPF approximation and explicit market rules. The learned OPF surrogate model makes an explicit solving of the OPF completely unnecessary. Our experiments demonstrate that the model additionally reduces training time by about one order of magnitude but at the cost of a slightly worse approximation of the Nash equilibrium. Potential applications of our method are market design, more realistic modeling of market participants, and analysis of manipulative behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google