Neural Chronos ODE: Unveiling Temporal Patterns and Forecasting Future and Past Trends in Time Series Data

要約

この研究では、時間の順方向と逆方向の両方でシステムの年代を予測するための連続時間 ODE ダイナミクスに適合するディープ ニューラル ネットワーク アーキテクチャである Neural Chronos Ordinary Differential Equations (Neural CODE) を紹介します。
モデルをトレーニングするには、ニューラル ODE と同様に、初期値問題と最終値問題として ODE を解きます。
また、ニューラル ODE をニューラル CODE に置き換える (CODE-RNN)、時間方向の完全な情報フローを実現する双方向 RNN を組み込む (CODE-BiRNN)、およびその他の更新を伴うバリアントを組み込むことにより、ニューラル コードとリカレント ニューラル ネットワークを組み合わせる 2 つのアプローチを検討します。
セル、つまり GRU および LSTM: CODE-GRU、CODE-BiGRU、CODE-LSTM、CODE-BiLSTM。
実験結果は、たとえデータがまばらであっても、時間の前後に進むスパイラルのダイナミクスを学習する際に、Neural CODE が Neural ODE よりも優れていることを示しています。
また、3 つの現実の時系列データ タスクで、CODE-RNN/-GRU/-LSTM および CODE-BiRNN/-BiGRU/-BiLSTM のパフォーマンスを ODE-RNN/-GRU/-LSTM と比較します。
低次元および高次元のデータ、およびより短いおよびより長い時間軸での前方および後方外挿。
私たちの調査結果は、提案されたアーキテクチャがより速く収束し、CODE-BiRNN/-BiGRU/-BiLSTM がすべてのタスクにおいて他のアーキテクチャよりも一貫して優れていることを示しています。

要約(オリジナル)

This work introduces Neural Chronos Ordinary Differential Equations (Neural CODE), a deep neural network architecture that fits a continuous-time ODE dynamics for predicting the chronology of a system both forward and backward in time. To train the model, we solve the ODE as an initial value problem and a final value problem, similar to Neural ODEs. We also explore two approaches to combining Neural CODE with Recurrent Neural Networks by replacing Neural ODE with Neural CODE (CODE-RNN), and incorporating a bidirectional RNN for full information flow in both time directions (CODE-BiRNN), and variants with other update cells namely GRU and LSTM: CODE-GRU, CODE-BiGRU, CODE-LSTM, CODE-BiLSTM. Experimental results demonstrate that Neural CODE outperforms Neural ODE in learning the dynamics of a spiral forward and backward in time, even with sparser data. We also compare the performance of CODE-RNN/-GRU/-LSTM and CODE-BiRNN/-BiGRU/-BiLSTM against ODE-RNN/-GRU/-LSTM on three real-life time series data tasks: imputation of missing data for lower and higher dimensional data, and forward and backward extrapolation with shorter and longer time horizons. Our findings show that the proposed architectures converge faster, with CODE-BiRNN/-BiGRU/-BiLSTM consistently outperforming the other architectures on all tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google