Multi-scale Transformers with Adaptive Pathways for Time Series Forecasting

要約

トランスフォーマーに基づくモデルは、時系列予測において一定の成功を収めている。既存の手法は、主に限られた、あるいは固定されたスケールから時系列をモデル化するものであり、様々なスケールにまたがる異なる特性を捉えることは困難である。本稿では、適応経路を持つマルチスケールトランスフォーマーであるPathformerを提案する。提案するPathformerは、マルチスケールモデリングのために、時間分解能と時間距離の両方を統合する。マルチスケール分割は、様々なサイズのパッチを用いて時系列を異なる時間分解能に分割する。各スケールの分割に基づき、大域的な相関と局所的な詳細を時間依存性として捉えるために、これらのパッチに対して二重注意が実行される。我々はさらにマルチスケール変換器を適応パスウェイで充実させ、入力時系列における時間的ダイナミクスの変化に基づいてマルチスケールモデリングプロセスを適応的に調整し、パスフォーマーの予測精度と汎化性を向上させる。実世界の11のデータセットを用いた広範な実験により、Pathformerは現在の全てのモデルを凌駕する最先端の性能を達成するだけでなく、様々な転送シナリオの下で、より強力な汎化能力を示すことが実証された。

要約(オリジナル)

Transformer-based models have achieved some success in time series forecasting. Existing methods mainly model time series from limited or fixed scales, making it challenging to capture different characteristics spanning various scales. In this paper, we propose Pathformer, a multi-scale transformer with adaptive pathways. The proposed Pathformer integrates both temporal resolution and temporal distance for multi-scale modeling. Multi-scale division divides the time series into different temporal resolutions using patches of various sizes. Based on the division of each scale, dual attention is performed over these patches to capture global correlations and local details as temporal dependencies. We further enrich the multi-scale transformer with adaptive pathways, which adaptively adjust the multi-scale modeling process based on the varying temporal dynamics in the input time series, improving the prediction accuracy and generalization of Pathformer. Extensive experiments on eleven real-world datasets demonstrate that Pathformer not only achieves state-of-the-art performance by surpassing all current models but also exhibits stronger generalization abilities under various transfer scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL