Anamnesic Neural Differential Equations with Orthogonal Polynomial Projections

要約

ニューラル常微分方程式（Neural ODE）は、不規則にサンプリングされた時系列データから力学系を学習するのに有効なフレームワークである。このモデルは、基礎となる力学系の連続時間の潜在的表現を提供し、任意の時点における新しい観測結果を用いて、力学系の潜在的表現を更新することができる。既存のニューラルODEのダイナミクス関数のパラメタリゼーションは、時系列に関するグローバルな情報を保持するモデルの能力を制限しています。具体的には、観測データ間の潜在的プロセスの断片的な統合は、以前に観測したデータポイントの動的パターンに関する記憶の喪失を招きます。我々は、潜在的な連続時間プロセスを直交多項式の基底への投影としてモデル化するニューラルODEであるPolyODEを提案する。この定式化は長距離記憶を強制し、基礎となる力学系の大域的表現を保持する。また、一連の実験により、過去と未来のデータの再構築や、下流の予測タスクにおいて、先行研究を凌駕することを実証しています。

要約(オリジナル)

Neural ordinary differential equations (Neural ODEs) are an effective framework for learning dynamical systems from irregularly sampled time series data. These models provide a continuous-time latent representation of the underlying dynamical system where new observations at arbitrary time points can be used to update the latent representation of the dynamical system. Existing parameterizations for the dynamics functions of Neural ODEs limit the ability of the model to retain global information about the time series; specifically, a piece-wise integration of the latent process between observations can result in a loss of memory on the dynamic patterns of previously observed data points. We propose PolyODE, a Neural ODE that models the latent continuous-time process as a projection onto a basis of orthogonal polynomials. This formulation enforces long-range memory and preserves a global representation of the underlying dynamical system. Our construction is backed by favourable theoretical guarantees and in a series of experiments, we demonstrate that it outperforms previous works in the reconstruction of past and future data, and in downstream prediction tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL