HiMTM: Hierarchical Multi-Scale Masked Time Series Modeling with Self-Distillation for Long-Term Forecasting

要約

時系列予測は、実用化において重要かつ困難なタスクです。
時系列予測のための事前トレーニングされた基礎モデルの最近の進歩は、大きな関心を集めています。
ただし、現在の手法では、正確な予測に不可欠な時系列のマルチスケールの性質が見落とされていることがよくあります。
これに対処するために、長期予測のための自己蒸留を備えた階層的なマルチスケールのマスク時系列モデリングである HiMTM を提案します。
HiMTM は 4 つの主要なコンポーネントを統合します。(1) さまざまなスケールで時間情報をキャプチャする階層型マルチスケール トランスフォーマー (HMT)。
(2) デカップリングされたエンコーダ-デコーダ (DED) は、エンコーダに特徴抽出を指示し、デコーダはプレテキスト タスクに焦点を当てます。
(3) 事前トレーニング中の多段階特徴レベル監視信号の階層的自己蒸留 (HSD)。
(4) 下流タスクの異なるスケール間の依存関係を把握するクロススケール アテンション ファインチューニング (CSA-FT)。
これらのコンポーネントは集合的に、マスクされた時系列モデリングにおけるマルチスケールの特徴抽出を強化し、予測精度を向上させます。
7 つの主流データセットに対する広範な実験により、HiMTM が最先端の自己教師ありのエンドツーエンド学習方法を 3.16 ～ 68.54\% という大幅な差で上回っていることが示されています。
さらに、HiMTM は、クロスドメイン予測において、最新の堅牢な自己教師あり学習手法である PatchTST を 2.3% という大幅なマージンで上回っています。
HiMTM の有効性は、天然ガス需要予測への応用を通じてさらに実証されています。

要約(オリジナル)

Time series forecasting is a critical and challenging task in practical application. Recent advancements in pre-trained foundation models for time series forecasting have gained significant interest. However, current methods often overlook the multi-scale nature of time series, which is essential for accurate forecasting. To address this, we propose HiMTM, a hierarchical multi-scale masked time series modeling with self-distillation for long-term forecasting. HiMTM integrates four key components: (1) hierarchical multi-scale transformer (HMT) to capture temporal information at different scales; (2) decoupled encoder-decoder (DED) that directs the encoder towards feature extraction while the decoder focuses on pretext tasks; (3) hierarchical self-distillation (HSD) for multi-stage feature-level supervision signals during pre-training; and (4) cross-scale attention fine-tuning (CSA-FT) to capture dependencies between different scales for downstream tasks. These components collectively enhance multi-scale feature extraction in masked time series modeling, improving forecasting accuracy. Extensive experiments on seven mainstream datasets show that HiMTM surpasses state-of-the-art self-supervised and end-to-end learning methods by a considerable margin of 3.16-68.54\%. Additionally, HiMTM outperforms the latest robust self-supervised learning method, PatchTST, in cross-domain forecasting by a significant margin of 2.3\%. The effectiveness of HiMTM is further demonstrated through its application in natural gas demand forecasting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google