MultiResFormer: Transformer with Adaptive Multi-Resolution Modeling for General Time Series Forecasting

要約

最近、Transformer ベースのモデルが時系列予測の限界を大きく押し広げています。
既存の方法は通常、1 つまたは固定のパッチ長セットを使用して、時系列データを $\textit{patches}$ にエンコードします。
ただし、これにより、現実世界の複数周期時系列に存在するさまざまな複雑な時間依存関係を捕捉する能力が不足する可能性があります。
この論文では、最適なパッチ長を適応的に選択することで時間的変動を動的にモデル化する MultiResFormer を提案します。
具体的には、各層の開始時に、時系列データがトランスエンコーダー ブロックを通過する前に、それぞれ検出された周期性を使用して複数の並列ブランチにエンコードされます。
私たちは、MultiResFormer と最先端のベースラインを比較して、長期および短期の予測データセットについて広範な評価を実施します。
MultiResFormer は、長期予測タスクにおいてパッチベースの Transformer ベースラインを上回り、また、これらのベースラインよりもはるかに少ないパラメータを使用しながら、一貫して CNN ベースラインを大幅に上回ります。

要約(オリジナル)

Transformer-based models have greatly pushed the boundaries of time series forecasting recently. Existing methods typically encode time series data into $\textit{patches}$ using one or a fixed set of patch lengths. This, however, could result in a lack of ability to capture the variety of intricate temporal dependencies present in real-world multi-periodic time series. In this paper, we propose MultiResFormer, which dynamically models temporal variations by adaptively choosing optimal patch lengths. Concretely, at the beginning of each layer, time series data is encoded into several parallel branches, each using a detected periodicity, before going through the transformer encoder block. We conduct extensive evaluations on long- and short-term forecasting datasets comparing MultiResFormer with state-of-the-art baselines. MultiResFormer outperforms patch-based Transformer baselines on long-term forecasting tasks and also consistently outperforms CNN baselines by a large margin, while using much fewer parameters than these baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google