BasisFormer: Attention-based Time Series Forecasting with Learnable and Interpretable Basis

要約

ベースは、特徴抽出器または将来の参照として機能する機能があるため、時系列予測のための最新の深層学習ベースのモデルに不可欠な部分となっています。
効果を発揮するには、基礎を時系列データの特定のセットに合わせて調整し、セット内の各時系列と明確な相関関係を示す必要があります。
ただし、現在の最先端の方法では、これらの要件を同時に満たす能力には限界があります。
この課題に対処するために、学習可能で解釈可能なベースを活用するエンドツーエンドの時系列予測アーキテクチャである BasisFormer を提案します。
このアーキテクチャは 3 つのコンポーネントで構成されます。 まず、適応型自己教師あり学習を通じて基底を取得します。これは、時系列の歴史的セクションと将来のセクションを 2 つの異なるビューとして扱い、対照的な学習を採用します。
次に、双方向クロスアテンションを介して時系列と履歴ビュー内のベース間の類似性係数を計算する Coef モジュールを設計します。
最後に、類似性係数に基づいて将来ビューのベースを選択して統合し、正確な将来予測を実現する予測モジュールを紹介します。
6 つのデータセットに対する広範な実験を通じて、BasisFormer が単変量予測タスクと多変量予測タスクでそれぞれ 11.04\% と 15.78\% 、以前の最先端の手法よりも優れていることを実証しました。
コードは \url{https://github.com/nzl5116190/Basisformer} で入手できます。

要約(オリジナル)

Bases have become an integral part of modern deep learning-based models for time series forecasting due to their ability to act as feature extractors or future references. To be effective, a basis must be tailored to the specific set of time series data and exhibit distinct correlation with each time series within the set. However, current state-of-the-art methods are limited in their ability to satisfy both of these requirements simultaneously. To address this challenge, we propose BasisFormer, an end-to-end time series forecasting architecture that leverages learnable and interpretable bases. This architecture comprises three components: First, we acquire bases through adaptive self-supervised learning, which treats the historical and future sections of the time series as two distinct views and employs contrastive learning. Next, we design a Coef module that calculates the similarity coefficients between the time series and bases in the historical view via bidirectional cross-attention. Finally, we present a Forecast module that selects and consolidates the bases in the future view based on the similarity coefficients, resulting in accurate future predictions. Through extensive experiments on six datasets, we demonstrate that BasisFormer outperforms previous state-of-the-art methods by 11.04\% and 15.78\% respectively for univariate and multivariate forecasting tasks. Code is available at: \url{https://github.com/nzl5116190/Basisformer}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google