ARMA Cell: A Modular and Effective Approach for Neural Autoregressive Modeling

要約

自己回帰移動平均 (ARMA) モデルは古典的であり、時系列データをモデル化するための最も研究されたアプローチの 1 つであることは間違いありません。
これには説得力のある理論的特性があり、実務家の間で広く使用されています。
最近の深層学習アプローチはリカレント ニューラル ネットワーク (RNN)、特に長期短期記憶 (LSTM) セルを普及させており、ニューラル時系列モデリングにおいて最もパフォーマンスが高く、最も一般的な構成要素の 1 つとなっています。
時系列データや長期的な影響を伴うシーケンスには有利ですが、複雑な RNN セルは必ずしも必須ではなく、場合によっては単純なリカレント アプローチよりも劣ることさえあります。
この研究では、ニューラル ネットワークにおける時系列モデリングのための、よりシンプルでモジュール式の効果的なアプローチである ARMA セルを紹介します。
このセルは、反復構造が存在する任意のニューラル ネットワーク アーキテクチャで使用でき、ベクトル自己回帰を使用して多変量時系列を自然に処理します。
また、空間相関時系列の自然な後継セルとして ConvARMA セルも紹介します。
私たちの実験では、提案された方法論がパフォーマンスの点で一般的な代替方法と競合し、そのシンプルさによりより堅牢で説得力があることを示しています。

要約(オリジナル)

The autoregressive moving average (ARMA) model is a classical, and arguably one of the most studied approaches to model time series data. It has compelling theoretical properties and is widely used among practitioners. More recent deep learning approaches popularize recurrent neural networks (RNNs) and, in particular, Long Short-Term Memory (LSTM) cells that have become one of the best performing and most common building blocks in neural time series modeling. While advantageous for time series data or sequences with long-term effects, complex RNN cells are not always a must and can sometimes even be inferior to simpler recurrent approaches. In this work, we introduce the ARMA cell, a simpler, modular, and effective approach for time series modeling in neural networks. This cell can be used in any neural network architecture where recurrent structures are present and naturally handles multivariate time series using vector autoregression. We also introduce the ConvARMA cell as a natural successor for spatially-correlated time series. Our experiments show that the proposed methodology is competitive with popular alternatives in terms of performance while being more robust and compelling due to its simplicity

arxiv情報

提供元, 利用サービス

arxiv.jp, Google