Demand response for residential building heating: Effective Monte Carlo Tree Search control based on physics-informed neural networks

要約

デマンドレスポンス（DR）を通じて建物のエネルギー消費を制御することは、世界的な炭素排出量を削減し、気候変動を制限するためにますます重要になっています。
このホワイトペーパーでは、ユーザーの温熱的快適性を尊重しながらエネルギー消費を最適化するために、住宅の建物の暖房システムを制御することに特に焦点を当てます。
この分野における最近の研究は、主に、実用的な DR アルゴリズムを実装するためのモデル予測制御 (MPC) などのモデルベースの制御、またはモデルフリーの強化学習 (RL) のいずれかに焦点を当てています。
ボード ゲーム (囲碁、チェス) などの分野で最近目覚ましい成功を収めている特定の RL 手法は、モンテカルロ ツリー検索 (MCTS) です。
しかし、建物管理に関しては、ほとんど研究されていないままです。
したがって、私たちはデマンドレスポンスの構築に特化した MCTS を研究します。
その自然な構造により、(たとえば従来の RL ソリューションとは対照的に) 外因的制約を暗黙的に統合する柔軟な最適化が可能となり、MCTS は DR 制御問題の有望な候補となっています。
従来の純粋にデータ駆動型のブラック ボックス アプローチとは対照的に、基礎となる熱状態予測に物理情報に基づいたニューラル ネットワーク (PiNN) モデルを組み込むことで、MCTS 制御のパフォーマンスを向上させる方法を示します。
PiNN モデルに合わせた MCTS 実装は、ルールベースのコントローラーと比較して、取得される報酬の 3% の増分を得ることができます。
人為的な価格プロファイルに適用すると、コストが 10% 削減され、望ましい温度との温度差が 35% 削減されます。
さらに、より最適なノードを介してツリー検索を行うニューラル ネットワークを使用して、ディープ ラーニング レイヤーをモンテカルロ ツリー検索手法に実装しました。
次に、この追加機能をバニラ バージョンと比較し、必要な計算コストが向上していることを示しました。

要約(オリジナル)

Controlling energy consumption in buildings through demand response (DR) has become increasingly important to reduce global carbon emissions and limit climate change. In this paper, we specifically focus on controlling the heating system of a residential building to optimize its energy consumption while respecting user’s thermal comfort. Recent works in this area have mainly focused on either model-based control, e.g., model predictive control (MPC), or model-free reinforcement learning (RL) to implement practical DR algorithms. A specific RL method that recently has achieved impressive success in domains such as board games (go, chess) is Monte Carlo Tree Search (MCTS). Yet, for building control it has remained largely unexplored. Thus, we study MCTS specifically for building demand response. Its natural structure allows a flexible optimization that implicitly integrate exogenous constraints (as opposed, for example, to conventional RL solutions), making MCTS a promising candidate for DR control problems. We demonstrate how to improve MCTS control performance by incorporating a Physics-informed Neural Network (PiNN) model for its underlying thermal state prediction, as opposed to traditional purely data-driven Black-Box approaches. Our MCTS implementation aligned with a PiNN model is able to obtain a 3% increment of the obtained reward compared to a rule-based controller; leading to a 10% cost reduction and 35% reduction on temperature difference with the desired one when applied to an artificial price profile. We further implemented a Deep Learning layer into the Monte Carlo Tree Search technique using a neural network that leads the tree search through more optimal nodes. We then compared this addition with its Vanilla version, showing the improvement in computational cost required.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google