An Efficient and Explainable Transformer-Based Few-Shot Learning for Modeling Electricity Consumption Profiles Across Thousands of Domains

要約

電力消費プロファイル (ECP) は、特にソーラー パネルや電気自動車などのさまざまな低炭素技術の増加に伴い、配電システムの運用と計画に不可欠です。
従来の ECP モデリング手法は通常、十分な ECP データが利用可能であることを前提としています。
ただし、実際には、プライバシーの問題や計測デバイスがないため、ECP データへのアクセスは制限されています。
フューショット学習 (FSL) は、データ不足のシナリオにおける ECP モデリングの有望なソリューションとして浮上しています。
それにもかかわらず、画像に使用されるような標準的な FSL 手法は、(1) これらの手法は通常、十分なデータを持つ複数のソース ドメインと複数のターゲット ドメインを想定しているため、ECP モデリングには適していません。
ただし、ECP モデリングのコンテキストでは、中程度の量のデータを含む数千のソース ドメインと数千のターゲット ドメインが存在する可能性があります。
(2) 標準的な FSL 手法には通常、事前トレーニングや微調整などの面倒な知識伝達メカニズムが含まれますが、ECP モデリングにはより軽量な手法が必要です。
(3) 深層学習モデルには説明可能性が欠けていることが多く、産業界での応用が妨げられています。
この論文では、上記の問題に対処するために、ECP モデリングにトランスフォーマーとガウス混合モデル (GMM) を利用する新しい FSL 手法を提案します。
結果は、私たちの方法が最小限の ECP データ (例: 完全なドメイン データセットのわずか 1.6%) で複雑な ECP 分布を正確に復元できると同時に、最先端の時系列モデリング方法よりも優れたパフォーマンスを発揮し、利点を維持できることを示しています。
軽量かつ解釈しやすいという特徴があります。
このプロジェクトは https://github.com/xiaweijie1996/TransformerEM-GMM.git でオープンソース化されています。

要約(オリジナル)

Electricity Consumption Profiles (ECPs) are crucial for operating and planning power distribution systems, especially with the increasing numbers of various low-carbon technologies such as solar panels and electric vehicles. Traditional ECP modeling methods typically assume the availability of sufficient ECP data. However, in practice, the accessibility of ECP data is limited due to privacy issues or the absence of metering devices. Few-shot learning (FSL) has emerged as a promising solution for ECP modeling in data-scarce scenarios. Nevertheless, standard FSL methods, such as those used for images, are unsuitable for ECP modeling because (1) these methods usually assume several source domains with sufficient data and several target domains. However, in the context of ECP modeling, there may be thousands of source domains with a moderate amount of data and thousands of target domains. (2) Standard FSL methods usually involve cumbersome knowledge transfer mechanisms, such as pre-training and fine-tuning, whereas ECP modeling requires more lightweight methods. (3) Deep learning models often lack explainability, hindering their application in industry. This paper proposes a novel FSL method that exploits Transformers and Gaussian Mixture Models (GMMs) for ECP modeling to address the above-described issues. Results show that our method can accurately restore the complex ECP distribution with a minimal amount of ECP data (e.g., only 1.6\% of the complete domain dataset) while it outperforms state-of-the-art time series modeling methods, maintaining the advantages of being both lightweight and interpretable. The project is open-sourced at https://github.com/xiaweijie1996/TransformerEM-GMM.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google