Multi-resolution Time-Series Transformer for Long-term Forecasting

要約

時系列予測のためのトランスフォーマーのパフォーマンスは大幅に向上しました。
最近のアーキテクチャは、時系列をパッチに分割し、パッチをトークンとして使用することで、複雑な時間的パターンを学習します。
パッチ サイズは、トランスフォーマーがさまざまな周波数で時間的パターンを学習する能力を制御します。局所的な高周波数パターンを学習するには短いパッチが効果的ですが、長期的な季節性やトレンドをマイニングするには長いパッチが必要です。
この観察に触発されて、我々は、異なる解像度で多様な時間パターンを同時にモデリングするためのマルチブランチ アーキテクチャで構成される新しいフレームワークであるマルチ解像度時系列トランスフォーマー (MTST) を提案します。
既存の多くの時系列変換器とは対照的に、さまざまなスケールで周期成分を抽出するのに適した相対位置エンコーディングを採用しています。
いくつかの実世界のデータセットに対する広範な実験により、最先端の予測技術と比較した MTST の有効性が実証されています。

要約(オリジナル)

The performance of transformers for time-series forecasting has improved significantly. Recent architectures learn complex temporal patterns by segmenting a time-series into patches and using the patches as tokens. The patch size controls the ability of transformers to learn the temporal patterns at different frequencies: shorter patches are effective for learning localized, high-frequency patterns, whereas mining long-term seasonalities and trends requires longer patches. Inspired by this observation, we propose a novel framework, Multi-resolution Time-Series Transformer (MTST), which consists of a multi-branch architecture for simultaneous modeling of diverse temporal patterns at different resolutions. In contrast to many existing time-series transformers, we employ relative positional encoding, which is better suited for extracting periodic components at different scales. Extensive experiments on several real-world datasets demonstrate the effectiveness of MTST in comparison to state-of-the-art forecasting techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google