Unlocking the Power of LSTM for Long Term Time Series Forecasting

要約

長期の短期メモリニューラルネットワーク（LSTM）などの従来の再発性ニューラルネットワークアーキテクチャは、時系列予測（TSF）タスクで歴史的に重要な役割を果たしてきました。
最近導入された自然言語処理（NLP）は、長期的なシーケンシャル学習に有益な指数関数的なゲーティングとメモリミキシングを導入しますが、その潜在的な短い記憶の問題は、TSFに直接SLSTMを適用する障壁です。
これに対処するために、P-SLSTMという名前のシンプルで効率的なアルゴリズムを提案します。これは、パッチングとチャネルの独立性を組み込むことによりSLSTM上に構築されます。
これらの変更は、TSFでのSLSTMのパフォーマンスを大幅に向上させ、最先端の結果を達成します。
さらに、私たちは設計の理論的正当化を提供し、モデルの効率と優れた性能を完全に検証するために、広範な比較および分析的実験を実施します。

要約(オリジナル)

Traditional recurrent neural network architectures, such as long short-term memory neural networks (LSTM), have historically held a prominent role in time series forecasting (TSF) tasks. While the recently introduced sLSTM for Natural Language Processing (NLP) introduces exponential gating and memory mixing that are beneficial for long term sequential learning, its potential short memory issue is a barrier to applying sLSTM directly in TSF. To address this, we propose a simple yet efficient algorithm named P-sLSTM, which is built upon sLSTM by incorporating patching and channel independence. These modifications substantially enhance sLSTM’s performance in TSF, achieving state-of-the-art results. Furthermore, we provide theoretical justifications for our design, and conduct extensive comparative and analytical experiments to fully validate the efficiency and superior performance of our model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google