MSegRNN:Enhanced SegRNN Model with Mamba for Long-Term Time Series Forecasting

要約

長期時系列予測の分野では、広範なルックバック ウィンドウと長期予測ステップを処理する必要があり、RNN ベースの方法論にとって大きな課題となっています。
その中でも、堅牢な RNN 駆動モデルである SegRNN は、著しく合理化されたアーキテクチャを維持しながら最先端の結果を達成するため、LTSF 分析で大きな注目を集めています。
同時に、Mamba 構造は、その情報選択機能により、小型から中型のモデルでその利点を実証しました。
この研究では、微調整された単層 Mamba 構造を使用して情報を前処理する SegRNN の亜種を紹介します。
さらに、暗黙的なセグメンテーションと残差構造をモデルのエンコード セクションに組み込んで、RNN アーキテクチャ固有のデータ反復サイクルをさらに削減し、チャネル間の相関を暗黙的に統合します。
MSegRNN と呼ばれるこの亜種は、Mamba 構造を利用して有用な情報を選択し、その結果、変換されたシーケンスが生成されます。
線形戦略に適応した派生関数は、元の SegRNN の優れたメモリ効率を維持しながら、パフォーマンスの向上を実証します。
現実世界の LTSF データセットに対する実証的評価は、私たちのモデルの優れたパフォーマンスを実証し、それによって LTSF 方法論の進歩に貢献します。

要約(オリジナル)

The field of long-term time series forecasting demands handling extensive look-back windows and long-range prediction steps, posing significant challenges for RNN-based methodologies. Among these, SegRNN, a robust RNN-driven model, has gained considerable attention in LTSF analysis for achieving state-of-the-art results while maintaining a remarkably streamlined architecture. Concurrently, the Mamba structure has demonstrated its advantages in small to medium-sized models due to its capability for information selection. This study introduces a variant of SegRNN that preprocesses information using a fine-tuned single-layer Mamba structure. Additionally, it incorporates implicit segmentation and residual structures into the model’s encoding section to further reduce the inherent data iterative cycles of RNN architectures and implicitly integrate inter-channel correlations. This variant, named MSegRNN, utilizes the Mamba structure to select useful information, resulting in a transformed sequence. The linear-strategy-adapted derivative retains the superior memory efficiency of the original SegRNN while demonstrating enhanced performance. Empirical evaluations on real-world LTSF datasets demonstrate the superior performance of our model, thereby contributing to the advancement of LTSF methodologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google