Optimal Recurrent Network Topologies for Dynamical Systems Reconstruction

要約

動的システム再構成 (DSR) では、時系列測定から、根底にある動的プロセスの生成モデルを推測しようとします。
これはあらゆる科学分野における主要な目的であり、パラメータ負荷が低い倹約モデルに特に関心があります。
ここでの一般的な戦略はパラメータの枝刈りであり、重みの小さいパラメータをすべて削除します。
ただし、この戦略は DSR では機能しないことがわかりました。DSR では、小さいパラメータでもシステム ダイナミクスに大きく寄与する可能性があります。
一方で、脳や生態ネットワークなど、複雑なダイナミクスを生み出す多くの自然システムは、リンクが比較的少ない疎なトポロジーを持っていることがよく知られています。
これに触発されて、アトラクタの幾何学的構造への寄与が低い大きさに基づく枝刈り重みが削除されるのとは対照的に、幾何学的枝刈りが実際に、DSR 品質を大幅に妨げることなくパラメータ負荷を大幅に削減できることを示します。
さらに、幾何学的枝刈りの結果として得られるネットワークには特定のタイプのトポロジがあり、重みの大きさではなくこのトポロジがパフォーマンスにとって最も重要であることがわかりました。
私たちは、RNN による動的システムの生成モデリングの事前分布として使用できるこのようなトポロジを自動的に生成するアルゴリズムを提供し、それをスモールワールド ネットワークやスケールフリー ネットワークなどのよく研究されている他のトポロジと比較します。

要約(オリジナル)

In dynamical systems reconstruction (DSR) we seek to infer from time series measurements a generative model of the underlying dynamical process. This is a prime objective in any scientific discipline, where we are particularly interested in parsimonious models with a low parameter load. A common strategy here is parameter pruning, removing all parameters with small weights. However, here we find this strategy does not work for DSR, where even low magnitude parameters can contribute considerably to the system dynamics. On the other hand, it is well known that many natural systems which generate complex dynamics, like the brain or ecological networks, have a sparse topology with comparatively few links. Inspired by this, we show that geometric pruning, where in contrast to magnitude-based pruning weights with a low contribution to an attractor’s geometrical structure are removed, indeed manages to reduce parameter load substantially without significantly hampering DSR quality. We further find that the networks resulting from geometric pruning have a specific type of topology, and that this topology, and not the magnitude of weights, is what is most crucial to performance. We provide an algorithm that automatically generates such topologies which can be used as priors for generative modeling of dynamical systems by RNNs, and compare it to other well studied topologies like small-world or scale-free networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google