Unlocking the Power of LSTM for Long Term Time Series Forecasting

要約

長短期記憶ニューラル ネットワーク (LSTM) などの従来のリカレント ニューラル ネットワーク アーキテクチャは、歴史的に時系列予測 (TSF) タスクにおいて重要な役割を果たしてきました。
最近導入された自然言語処理 (NLP) 用の sLSTM では、長期の逐次学習に有益な指数関数的ゲーティングとメモリ混合が導入されていますが、潜在的なメモリ不足の問題が sLSTM を TSF に直接適用する際の障壁となっています。
これに対処するために、パッチングとチャネル独立性を組み込むことで sLSTM に基づいて構築された、P-sLSTM というシンプルで効率的なアルゴリズムを提案します。
これらの変更により、TSF における sLSTM のパフォーマンスが大幅に向上し、最先端の結果が得られます。
さらに、設計の理論的根拠を示し、広範な比較実験と分析実験を実施して、モデルの効率と優れたパフォーマンスを完全に検証します。

要約(オリジナル)

Traditional recurrent neural network architectures, such as long short-term memory neural networks (LSTM), have historically held a prominent role in time series forecasting (TSF) tasks. While the recently introduced sLSTM for Natural Language Processing (NLP) introduces exponential gating and memory mixing that are beneficial for long term sequential learning, its potential short memory issue is a barrier to applying sLSTM directly in TSF. To address this, we propose a simple yet efficient algorithm named P-sLSTM, which is built upon sLSTM by incorporating patching and channel independence. These modifications substantially enhance sLSTM’s performance in TSF, achieving state-of-the-art results. Furthermore, we provide theoretical justifications for our design, and conduct extensive comparative and analytical experiments to fully validate the efficiency and superior performance of our model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google