PowerPM: Foundation Model for Power Systems

要約

豊富な電力時系列 (ETS) データの出現により、需要側管理、送電網の安定性、消費者行動分析など、電力システムのさまざまなアプリケーションに十分な機会が提供されます。
深層学習モデルは、シーケンスの依存性を効果的に捕捉することで高度な ETS モデリングを実現しています。
それにもかかわらず、ETS データは本質的に複雑な階層構造を持っているため、さまざまなアプリケーション向けに ETS データの一般的な表現を学習することは依然として困難です。
さらに、ETS データは複雑な時間依存性を示し、外生変数の影響を受けやすくなります。
さらに、インスタンスが異なれば、さまざまな電力消費動作が示されます。
このペーパーでは、ETS データをモデル化するための基礎モデル PowerPM を提案し、電力システム向けの大規模な既製モデルを提供します。
PowerPM は、テンポラル エンコーダと階層エンコーダで構成されます。
時間エンコーダーは、外生変数を考慮して、ETS データ内の両方の時間依存関係をキャプチャします。
階層エンコーダは、階層間の相関をモデル化します。
さらに、PowerPM は、マスクされた ETS モデリングとデュアルビュー対比学習で構成される新しい自己教師あり事前トレーニング フレームワークを活用します。これにより、PowerPM は ETS ウィンドウ内の時間依存性をキャプチャし、ETS ウィンドウ間の不一致を認識できるようになり、一般的な表現を学習するための 2 つの異なる視点が提供されます。
私たちの実験には、プライベート データとパブリック データで構成される 5 つの現実世界のシナリオ データセットが含まれます。
PowerPM は、大規模な ETS データの事前トレーニングを通じて、プライベート データセット内のさまざまなダウンストリーム タスクで SOTA パフォーマンスを実現します。
印象的なことに、PowerPM は公開データセットに転送されてもその優位性を維持し、さまざまなタスクやドメインにわたってその驚くべき一般化能力を示しています。
さらに、アブレーション研究、少数ショット実験は、我々のモデルの有効性の追加の証拠を提供します。

要約(オリジナル)

The emergence of abundant electricity time series (ETS) data provides ample opportunities for various applications in the power systems, including demand-side management, grid stability, and consumer behavior analysis. Deep learning models have advanced ETS modeling by effectively capturing sequence dependence. Nevertheless, learning a generic representation of ETS data for various applications remains challenging due to the inherently complex hierarchical structure of ETS data. Moreover, ETS data exhibits intricate temporal dependencies and is suscepti ble to the influence of exogenous variables. Furthermore, different instances exhibit diverse electricity consumption behavior. In this paper, we propose a foundation model PowerPM to model ETS data, providing a large-scale, off-the-shelf model for power systems. PowerPM consists of a temporal encoder and a hierarchical encoder. The temporal encoder captures both temporal dependencies in ETS data, considering exogenous variables. The hierarchical encoder models the correlation between hierarchy. Furthermore, PowerPM leverages a novel self-supervised pretraining framework consisting of masked ETS modeling and dual-view contrastive learning, which enable PowerPM to capture temporal dependency within ETS windows and aware the discrepancy across ETS windows, providing two different perspectives to learn generic representation. Our experiments involve five real world scenario datasets, comprising private and public data. Through pre-training on massive ETS data, PowerPM achieves SOTA performance on diverse downstream tasks within the private dataset. Impressively, when transferred to the public datasets, PowerPM maintains its superiority, showcasing its remarkable generalization ability across various tasks and domains. Moreover, ablation studies, few-shot experiments provide additional evidence of the effectiveness of our model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google