A Lightweight Calibrated Simulation Enabling Efficient Offline Learning for Optimal Control of Real Buildings

要約

現代の商用暖房、換気、空調 (HVAC) 装置は、建物や屋外の気象条件と複雑で相互接続された熱力学システムを形成しており、現在の設定値制御ポリシーは、エネルギー使用と炭素排出を最小限に抑えるために完全には最適化されていません。
適切なトレーニング環境があれば、強化学習 (RL) モデルはこれらのポリシーを改善できますが、特に数千の建物にスケールする方法でそのようなモデルをトレーニングすると、現実世界では多くの課題が生じます。
私たちは、カスタマイズされたシミュレーターを使用して建物ごとにエージェントをトレーニングする、新しいシミュレーションベースのアプローチを提案します。
当社のオープンソース シミュレータ (オンラインで入手可能: https://github.com/google/sbsim) は軽量で、より高いレベルの忠実度を達成するために建物からのテレメトリを介して調整されています。
2 階建て、68,000 平方フィートの建物に 127 台のデバイスを設置し、6 時間間隔で現実世界からのドリフトが 0.5 度強になるようにシミュレータを調整することができました。
このアプローチは、多くの建物に拡張できる現実世界の RL 制御システムを実現するための重要なステップであり、効率が向上し、エネルギー消費と炭素排出量が削減されます。

要約(オリジナル)

Modern commercial Heating, Ventilation, and Air Conditioning (HVAC) devices form a complex and interconnected thermodynamic system with the building and outside weather conditions, and current setpoint control policies are not fully optimized for minimizing energy use and carbon emission. Given a suitable training environment, a Reinforcement Learning (RL) model is able to improve upon these policies, but training such a model, especially in a way that scales to thousands of buildings, presents many real world challenges. We propose a novel simulation-based approach, where a customized simulator is used to train the agent for each building. Our open-source simulator (available online: https://github.com/google/sbsim) is lightweight and calibrated via telemetry from the building to reach a higher level of fidelity. On a two-story, 68,000 square foot building, with 127 devices, we were able to calibrate our simulator to have just over half a degree of drift from the real world over a six-hour interval. This approach is an important step toward having a real-world RL control system that can be scaled to many buildings, allowing for greater efficiency and resulting in reduced energy consumption and carbon emissions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google