From RNNs to Foundation Models: An Empirical Study on Commercial Building Energy Consumption

要約

商業ビルの短期エネルギー消費量を正確に予測することは、スマート グリッドの運用にとって非常に重要です。
スマート メーターとディープ ラーニング モデルにより、複数の建物の過去のデータを使用した予測が可能になりますが、さまざまな建物からのデータの不均一性によりモデルのパフォーマンスが低下する可能性があります。
サイズとモデルを一定に保ちながら、時系列予測におけるデータセットの不均一性の増大の影響については十分に研究されていません。
私たちは、米国の商業ビルの総合エネルギー消費データを提供する ComStock データセットを使用して、この問題に取り組みます。
サイズと地域は同一ですが、建物タイプの多様性が異なる 2 つの精選されたサブセットを使用して、微調整されたオープンソース基盤モデル (FM) を含むさまざまな時系列予測モデルのパフォーマンスを評価します。
結果は、データセットの異質性とモデル アーキテクチャが、パラメーター数よりもトレーニング後の予測パフォーマンスに大きな影響を与えることを示しています。
さらに、計算コストが高いにもかかわらず、微調整された FM は、最初からトレーニングされた基本モデルと比較して、競争力のあるパフォーマンスを示します。

要約(オリジナル)

Accurate short-term energy consumption forecasting for commercial buildings is crucial for smart grid operations. While smart meters and deep learning models enable forecasting using past data from multiple buildings, data heterogeneity from diverse buildings can reduce model performance. The impact of increasing dataset heterogeneity in time series forecasting, while keeping size and model constant, is understudied. We tackle this issue using the ComStock dataset, which provides synthetic energy consumption data for U.S. commercial buildings. Two curated subsets, identical in size and region but differing in building type diversity, are used to assess the performance of various time series forecasting models, including fine-tuned open-source foundation models (FMs). The results show that dataset heterogeneity and model architecture have a greater impact on post-training forecasting performance than the parameter count. Moreover, despite the higher computational cost, fine-tuned FMs demonstrate competitive performance compared to base models trained from scratch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google