Neural Differential Recurrent Neural Network with Adaptive Time Steps

要約

ニューラル常微分方程式（ODE）モデルは、離散的なタイムスタンプ上の観測から複雑な連続時間過程を学習することに成功を収めている。本研究では、非定常であり、スパイクのような鋭い変化を持つ可能性がある時系列データのモデリングと予測を考える。RNN-ODE-Adapと呼ばれるRNNベースのモデルを提案し、隠れ状態の時間発展を表現するためにニューラルODEを使用し、「スパイクのような」時系列に対してより効率的にモデルを訓練するように、データの時間的変化の急峻さに基づいて適応的に時間ステップを選択する。理論的には、RNN-ODE-Adapは、ホークス型時系列データに対して、強度関数の一貫した推定を証明的にもたらすものである。また、RNN-ODEモデルの近似解析を行い、適応的ステップの利点を示す。提案モデルは、シミュレーションされた動的システムデータ、ポイントプロセスデータ、および実際の心電図データセットにおいて、計算コストを削減しながら高い予測精度を達成することが実証された。

要約(オリジナル)

The neural Ordinary Differential Equation (ODE) model has shown success in learning complex continuous-time processes from observations on discrete time stamps. In this work, we consider the modeling and forecasting of time series data that are non-stationary and may have sharp changes like spikes. We propose an RNN-based model, called RNN-ODE-Adap, that uses a neural ODE to represent the time development of the hidden states, and we adaptively select time steps based on the steepness of changes of the data over time so as to train the model more efficiently for the ‘spike-like’ time series. Theoretically, RNN-ODE-Adap yields provably a consistent estimation of the intensity function for the Hawkes-type time series data. We also provide an approximation analysis of the RNN-ODE model showing the benefit of adaptive steps. The proposed model is demonstrated to achieve higher prediction accuracy with reduced computational cost on simulated dynamic system data and point process data and on a real electrocardiography dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL