Control Policy Correction Framework for Reinforcement Learning-based Energy Arbitrage Strategies

要約

再生可能エネルギー源の普及が継続的に増加していることと、単一の不均衡価格設定の使用により、不均衡責任者は不均衡解決メカニズムにおけるエネルギー裁定を通じてコストを削減する新たな機会が生まれています。
モデルフリー強化学習 (RL) 手法は、複雑な確率的逐次問題の解決において優れたパフォーマンスを発揮するため、エネルギー裁定取引問題を解決するのに適切な選択肢です。
ただし、RL が学習したポリシーは実行フェーズ中の安全性を必ずしも保証しないため、RL が実際のアプリケーションに導入されることはほとんどありません。
この論文では、不均衡解決メカニズムにおいて安全なエネルギー裁定戦略を取得するための、バッテリーのための新しいRLベースの制御フレームワークを提案します。
私たちが提案する制御フレームワークでは、エージェントは最初に裁定収益を最適化することを目的としています。
続いて、後処理ステップでは、人間の直感に従う性質に基づく知識蒸留プロセスに従って、学習されたポリシーを修正 (制約) します。
私たちの後処理ステップは一般的な方法であり、エネルギー裁定取引ドメインに限定されません。
提案した枠組みのパフォーマンスを評価するために、2023 年のベルギーの不均衡価格を使用します。
さらに、提案した制御フレームワークを実際のバッテリーに展開して、現実世界での機能を示します。

要約(オリジナル)

A continuous rise in the penetration of renewable energy sources, along with the use of the single imbalance pricing, provides a new opportunity for balance responsible parties to reduce their cost through energy arbitrage in the imbalance settlement mechanism. Model-free reinforcement learning (RL) methods are an appropriate choice for solving the energy arbitrage problem due to their outstanding performance in solving complex stochastic sequential problems. However, RL is rarely deployed in real-world applications since its learned policy does not necessarily guarantee safety during the execution phase. In this paper, we propose a new RL-based control framework for batteries to obtain a safe energy arbitrage strategy in the imbalance settlement mechanism. In our proposed control framework, the agent initially aims to optimize the arbitrage revenue. Subsequently, in the post-processing step, we correct (constrain) the learned policy following a knowledge distillation process based on properties that follow human intuition. Our post-processing step is a generic method and is not restricted to the energy arbitrage domain. We use the Belgian imbalance price of 2023 to evaluate the performance of our proposed framework. Furthermore, we deploy our proposed control framework on a real battery to show its capability in the real world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google