Generalized Teacher Forcing for Learning Chaotic Dynamics

要約

カオス力学システム (DS) は自然界や社会のいたるところに存在します。
多くの場合、私たちは予測や機構的な洞察のために、観察された時系列からそのようなシステムを再構築することに興味を持ちます。ここで、再構築とは、問題のシステムの幾何学的および不変の時間的特性 (アトラクターなど) を学習することを意味します。
しかし、そのようなシステム上で勾配降下法ベースの技術によってリカレント ニューラル ネットワーク (RNN) のような再構成アルゴリズムをトレーニングすることは、深刻な課題に直面しています。
これは主に、カオス系における軌道の指数関数的な発散によって引き起こされる爆発的な勾配によるものです。
さらに、（科学的）解釈可能性のために、できれば数学的に扱いやすいモデルで、できるだけ低次元の再構成が必要です。
今回我々は、教師強制の驚くほど単純な変更により、カオス システムでのトレーニングにおいて厳密に常に制限された勾配が得られることを報告します。また、扱いやすい RNN 設計の単純なアーキテクチャの再配置と組み合わせると、区分線形 RNN (PLRNN) が可能になります。
観測されたシステムの次元数以下の空間での忠実な再構築を可能にします。
これらの修正により、現在の SOTA アルゴリズムよりもはるかに低い次元で DS を再構築できることをいくつかの DS で示します。
パフォーマンスの違いは、他のほとんどの方法では非常に困難であった現実世界のデータで特に顕著でした。
このようにして、この研究により、シンプルでありながら、同時に高度に解釈可能な強力な DS 再構成アルゴリズムが誕生しました。

要約(オリジナル)

Chaotic dynamical systems (DS) are ubiquitous in nature and society. Often we are interested in reconstructing such systems from observed time series for prediction or mechanistic insight, where by reconstruction we mean learning geometrical and invariant temporal properties of the system in question (like attractors). However, training reconstruction algorithms like recurrent neural networks (RNNs) on such systems by gradient-descent based techniques faces severe challenges. This is mainly due to exploding gradients caused by the exponential divergence of trajectories in chaotic systems. Moreover, for (scientific) interpretability we wish to have as low dimensional reconstructions as possible, preferably in a model which is mathematically tractable. Here we report that a surprisingly simple modification of teacher forcing leads to provably strictly all-time bounded gradients in training on chaotic systems, and, when paired with a simple architectural rearrangement of a tractable RNN design, piecewise-linear RNNs (PLRNNs), allows for faithful reconstruction in spaces of at most the dimensionality of the observed system. We show on several DS that with these amendments we can reconstruct DS better than current SOTA algorithms, in much lower dimensions. Performance differences were particularly compelling on real world data with which most other methods severely struggled. This work thus led to a simple yet powerful DS reconstruction algorithm which is highly interpretable at the same time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google