LiNo: Advancing Recursive Residual Decomposition of Linear and Nonlinear Patterns for Robust Time Series Forecasting

要約

予測モデルは、膨大な線形パターンと非線形パターンの複合体として現れる膨大な量の時系列データを扱うデータ駆動型の世界では極めて重要です。
最近の詳細な時系列予測モデルは、季節分解とトレンド分解を利用して、絡み合ったコンポーネントを分離するのに苦労しています。
このような戦略は、トレンドのような単純な線形パターンのみを明示的に抽出し、他の線形モードや未調査の広大な非線形パターンを残差に残します。
線形および非線形の特徴抽出モデルと浅いレベルの分解に欠陥があるため、現実世界のシナリオに存在する多様なパターンへの適応が制限されます。
これを考慮して、線形パターンと非線形パターンの両方の明示的な抽出を導入することにより、再帰的残差分解を革新します。
LiNo という名前のこのより深いレベルの分解フレームワークは、移動平均カーネルとなる Li ブロックを使用して線形パターンをキャプチャし、Transformer エンコーダーとなる No ブロックを使用して非線形パターンをモデル化します。
これら 2 つのパターンの抽出は交互に再帰的に実行されます。
LiNo の可能性を最大限に引き出すために、現在の単純な線形パターン抽出器を一般的な学習可能な自己回帰モデルに発展させ、すべての必須の非線形パターンを処理できる新しい No ブロックを設計します。
注目すべきことに、提案された LiNo は、単変量および多変量予測シナリオの下で 13 の現実世界のベンチマークで最先端の性能を達成しています。
実験では、現在の予測モデルが、この高度な再帰的残差分解を通じて、より堅牢で正確な結果を提供できることが示されています。
この研究が、より効果的な予測モデルを設計するための洞察を提供できることを願っています。
コードはこのリポジトリ: https://github.com/Levi-Ackman/LiNo で入手できます。

要約(オリジナル)

Forecasting models are pivotal in a data-driven world with vast volumes of time series data that appear as a compound of vast Linear and Nonlinear patterns. Recent deep time series forecasting models struggle to utilize seasonal and trend decomposition to separate the entangled components. Such a strategy only explicitly extracts simple linear patterns like trends, leaving the other linear modes and vast unexplored nonlinear patterns to the residual. Their flawed linear and nonlinear feature extraction models and shallow-level decomposition limit their adaptation to the diverse patterns present in real-world scenarios. Given this, we innovate Recursive Residual Decomposition by introducing explicit extraction of both linear and nonlinear patterns. This deeper-level decomposition framework, which is named LiNo, captures linear patterns using a Li block which can be a moving average kernel, and models nonlinear patterns using a No block which can be a Transformer encoder. The extraction of these two patterns is performed alternatively and recursively. To achieve the full potential of LiNo, we develop the current simple linear pattern extractor to a general learnable autoregressive model, and design a novel No block that can handle all essential nonlinear patterns. Remarkably, the proposed LiNo achieves state-of-the-art on thirteen real-world benchmarks under univariate and multivariate forecasting scenarios. Experiments show that current forecasting models can deliver more robust and precise results through this advanced Recursive Residual Decomposition. We hope this work could offer insight into designing more effective forecasting models. Code is available at this Repository: https://github.com/Levi-Ackman/LiNo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google