SST: Multi-Scale Hybrid Mamba-Transformer Experts for Long-Short Range Time Series Forecasting

要約

時系列予測の大幅な進歩にも関わらず、既存の予測担当者は長距離時系列と短距離時系列間の不均一性を見落とすことが多く、実際のアプリケーションではパフォーマンスの低下につながります。
この研究では、さまざまな範囲に合わせた明確な目標の必要性を強調します。
時系列は大域的なパターンと局所的な変動に分解でき、これらは長距離時系列と短期時系列で別々に対処する必要があることを指摘します。
目的を達成するために、マルチスケールのハイブリッド Mamba-Transformer エキスパート モデル State Space Transformer (SST) を提案します。
SST は、粒度の粗い長距離時系列でグローバル パターンを抽出するエキスパートとして Mamba を活用し、もう 1 つのエキスパートであるローカル ウィンドウ トランスフォーマー (LWT) を利用して、粒度の細かい短距離時系列でのローカル変動の捕捉に焦点を当てます。
入力依存のメカニズムにより、状態空間モデル (SSM) ベースの Mamba は長期パターンを選択的に保持し、変動を除去することができます。一方、LWT はローカル ウィンドウを採用して局所性認識機能を強化し、局所的な変動を効果的に捕捉します。
グローバル パターンとローカル変動を適応的に統合するために、ロングショート ルーターは 2 人の専門家の貢献を動的に調整します。
SST は、時系列の長さ $L$ に対して $O(L)$ を線形にスケーリングすることで、優れたパフォーマンスを実現します。
包括的な実験では、SST がメモリ フットプリントと計算コストを低く抑えながら、長短範囲の時系列予測で SOTA の結果を達成できることを示しています。
SST のコードは https://github.com/XiongxiaoXu/SST で入手できます。

要約(オリジナル)

Despite significant progress in time series forecasting, existing forecasters often overlook the heterogeneity between long-range and short-range time series, leading to performance degradation in practical applications. In this work, we highlight the need of distinct objectives tailored to different ranges. We point out that time series can be decomposed into global patterns and local variations, which should be addressed separately in long- and short-range time series. To meet the objectives, we propose a multi-scale hybrid Mamba-Transformer experts model State Space Transformer (SST). SST leverages Mamba as an expert to extract global patterns in coarse-grained long-range time series, and Local Window Transformer (LWT), the other expert to focus on capturing local variations in fine-grained short-range time series. With an input-dependent mechanism, State Space Model (SSM)-based Mamba is able to selectively retain long-term patterns and filter out fluctuations, while LWT employs a local window to enhance locality-awareness capability, thus effectively capturing local variations. To adaptively integrate the global patterns and local variations, a long-short router dynamically adjusts contributions of the two experts. SST achieves superior performance with scaling linearly $O(L)$ on time series length $L$. The comprehensive experiments demonstrate the SST can achieve SOTA results in long-short range time series forecasting while maintaining low memory footprint and computational cost. The code of SST is available at https://github.com/XiongxiaoXu/SST.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google