Real-World Implementation of Reinforcement Learning Based Energy Coordination for a Cluster of Households

要約

世界の電力消費量の 40% に大きく貢献していることから、構築された環境は、現代の電力網を支援する柔軟性の源としての役割を果たすとして、ますます注目を集めています。
その点、従来の研究は主に個々の建物のエネルギー管理に焦点を当てていました。
対照的に、このホワイトペーパーでは、最終的には補助サービスを含むグリッドサポートサービスを提供するために、一連の住宅建物の集約制御に焦点を当てます。
特に、目標電力信号を共同で追跡するために 8 つの住宅建物の電力消費を調整する際の強化学習 (RL) の有効性を研究する実際のパイロット研究を紹介します。
当社の RL アプローチは、個々の世帯からの観察データのみに依存しており、明示的な建築モデルやシミュレーターを必要としないため、実装が実用的で拡張が容易です。
提案した RL ベースの調整戦略が現実世界の設定で実現可能であることを示します。
4 週間のケーススタディでは、フレキシブル資産をアクティブ化する世帯を選択するための RL ベースのランキング システムと、選択された資産を制御するためのリアルタイム PI 制御ベースの電力供給メカニズムに依存する階層制御システムを実証します。
。
私たちの結果は、満足のいく電力追跡と、純粋にデータ駆動型の方法で学習された RL ベースのランクの有効性を示しています。

要約(オリジナル)

Given its substantial contribution of 40\% to global power consumption, the built environment has received increasing attention to serve as a source of flexibility to assist the modern power grid. In that respect, previous research mainly focused on energy management of individual buildings. In contrast, in this paper, we focus on aggregated control of a set of residential buildings, to provide grid supporting services, that eventually should include ancillary services. In particular, we present a real-life pilot study that studies the effectiveness of reinforcement-learning (RL) in coordinating the power consumption of 8 residential buildings to jointly track a target power signal. Our RL approach relies solely on observed data from individual households and does not require any explicit building models or simulators, making it practical to implement and easy to scale. We show the feasibility of our proposed RL-based coordination strategy in a real-world setting. In a 4-week case study, we demonstrate a hierarchical control system, relying on an RL-based ranking system to select which households to activate flex assets from, and a real-time PI control-based power dispatch mechanism to control the selected assets. Our results demonstrate satisfactory power tracking, and the effectiveness of the RL-based ranks which are learnt in a purely data-driven manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google