When are dynamical systems learned from time series data statistically accurate?

要約

一般化の従来の概念は、動的データから意味のある情報をキャプチャする学習モデルの能力を説明することに失敗します。
小さなテストエラーで複雑なダイナミクスを学習するニューラルネットワークは、関連する統計モーメントやリアプノフ指数を含む\ emph {物理}動作を再現できない場合があります。
このギャップに対処するために、時系列データから学んだ複雑な動的モデルの一般化に対するエルゴードの理論的アプローチを提案します。
私たちの主な貢献は、根本的な不変の物理的尺度をエミュレートする方法で、カオスシステムを含むクラスのクラスの幅広い神経表現の一般化を定義および分析することです。
我々の結果は、動的システムの発生器（ニューラルODE）の回帰方法が一般化できない理由と、トレーニング中にヤコビアの情報を追加すると統計的精度が向上する理由についての理論的正当化を提供します。
MLP、Resnet、フーリエ神経層、RNNを含む多くのエルゴジックな混oticとしたシステムとニューラルネットワークパラメーター化に関する結果を検証します。

要約(オリジナル)

Conventional notions of generalization often fail to describe the ability of learned models to capture meaningful information from dynamical data. A neural network that learns complex dynamics with a small test error may still fail to reproduce its \emph{physical} behavior, including associated statistical moments and Lyapunov exponents. To address this gap, we propose an ergodic theoretic approach to generalization of complex dynamical models learned from time series data. Our main contribution is to define and analyze generalization of a broad suite of neural representations of classes of ergodic systems, including chaotic systems, in a way that captures emulating underlying invariant, physical measures. Our results provide theoretical justification for why regression methods for generators of dynamical systems (Neural ODEs) fail to generalize, and why their statistical accuracy improves upon adding Jacobian information during training. We verify our results on a number of ergodic chaotic systems and neural network parameterizations, including MLPs, ResNets, Fourier Neural layers, and RNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google