IRNN: Innovation-driven Recurrent Neural Network for Time-Series Data Modeling and Prediction

要約

多くの現実世界のデータセットは、連続的に収集され、豊富な時間情報を含む時系列です。
したがって、実践に対する共通の関心は、時系列のダイナミクスを捉え、将来の進化を予測することです。
この目的のために、再発性ニューラルネットワーク（RNN）は、非線形状態空間モデルの表現を認める一般的で効果的な機械学習オプションでした。
線形状態空間モデルのRNNとKalmanフィルター（KF）の類似に動機付けられ、このペーパーでは、タイムシリーズのデータ​​モデリングと予測タスクに合わせた新しいRNNアーキテクチャであるこの論文のイノベーション駆動型RNN（IRNN）を提案します。
「イノベーション」の概念をKFからRNNに適合させることにより、過去の予測エラーが追加の入力信号として採用され、RNNの隠された状態を更新し、予測パフォーマンスを高めます。
イノベーションデータはネットワークパラメーターに依存するため、RNNの既存のトレーニングアルゴリズムはIRNNに簡単に適用されません。
したがって、時間による入力更新ベースのバックプロパゲーションと呼ばれるテーラードトレーニングアルゴリズム（IU-BPTT）がさらに提案されており、これはイノベーションの更新と勾配降下を介したネットワークパラメーターの最適化とを交互に行います。
実際のベンチマークデータセットでの実験は、さまざまな形態のRNNにイノベーションを統合することで、トレーニングコストを大幅に増加させることなくIRNNの予測精度が著しく改善されることを示しています。

要約(オリジナル)

Many real-world datasets are time series that are sequentially collected and contain rich temporal information. Thus, a common interest in practice is to capture dynamics of time series and predict their future evolutions. To this end, the recurrent neural network (RNN) has been a prevalent and effective machine learning option, which admits a nonlinear state-space model representation. Motivated by the resemblance between RNN and Kalman filter (KF) for linear state-space models, we propose in this paper Innovation-driven RNN (IRNN), a novel RNN architecture tailored to time-series data modeling and prediction tasks. By adapting the concept of ‘innovation’ from KF to RNN, past prediction errors are adopted as additional input signals to update hidden states of RNN and boost prediction performance. Since innovation data depend on network parameters, existing training algorithms for RNN do not apply to IRNN straightforwardly. Thus, a tailored training algorithm dubbed input updating-based back-propagation through time (IU-BPTT) is further proposed, which alternates between updating innovations and optimizing network parameters via gradient descent. Experiments on real-world benchmark datasets show that the integration of innovations into various forms of RNN leads to remarkably improved prediction accuracy of IRNN without increasing the training cost substantially.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google