SWIFT: Mapping Sub-series with Wavelet Decomposition Improves Time Series Forecasting

要約

タイムシリーズの予測に関する最近の研究では、トランス、さらには大規模な言語モデルでさえ、シーケンスモデリングの強力な能力のために大きな注目を集めています。
ただし、実際の展開では、時系列予測では、大規模なモデルの計算オーバーヘッドを処理できないエッジデバイスなどのリソース制約のある環境での操作が必要です。
このようなシナリオに対処するために、いくつかの軽量モデルが提案されていますが、非定常シーケンスでパフォーマンスが低下します。
このホワイトペーパーでは、$ \ textit {swift} $を提案します。これは、強力であるだけでなく、長期の時系列予測（LTSF）の展開と推論にも効率的な軽量モデルです。
私たちのモデルは、3つの重要なポイントに基づいています。（i）ウェーブレット変換を利用して、時系列のロスレスダウンサンプリングを実行します。
（ii）学習可能なフィルターでクロスバンド情報融合を達成する。
（iii）サブシリーズのマッピングに1つの共有線形層または1つの浅いMLPのみを使用します。
包括的な実験を実施し、結果は、$ \ textit {swift} $が複数のデータセットで最新の（SOTA）パフォーマンスを達成し、このタスクでのエッジコンピューティングと展開のための有望な方法を提供することを示しています。
さらに、$ \ textit {swift-linear} $のパラメーターの数は、時間領域予測のための単一層線形モデルの場合の25％にすぎないことが注目に値します。
当社のコードは、https：//github.com/lancelotxwx/swiftで入手できます。

要約(オリジナル)

In recent work on time-series prediction, Transformers and even large language models have garnered significant attention due to their strong capabilities in sequence modeling. However, in practical deployments, time-series prediction often requires operation in resource-constrained environments, such as edge devices, which are unable to handle the computational overhead of large models. To address such scenarios, some lightweight models have been proposed, but they exhibit poor performance on non-stationary sequences. In this paper, we propose $\textit{SWIFT}$, a lightweight model that is not only powerful, but also efficient in deployment and inference for Long-term Time Series Forecasting (LTSF). Our model is based on three key points: (i) Utilizing wavelet transform to perform lossless downsampling of time series. (ii) Achieving cross-band information fusion with a learnable filter. (iii) Using only one shared linear layer or one shallow MLP for sub-series’ mapping. We conduct comprehensive experiments, and the results show that $\textit{SWIFT}$ achieves state-of-the-art (SOTA) performance on multiple datasets, offering a promising method for edge computing and deployment in this task. Moreover, it is noteworthy that the number of parameters in $\textit{SWIFT-Linear}$ is only 25\% of what it would be with a single-layer linear model for time-domain prediction. Our code is available at https://github.com/LancelotXWX/SWIFT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google