Learning Latent Dynamics via Invariant Decomposition and (Spatio-)Temporal Transformers

要約

我々は、特定の科学的動機に基づいた不変性を強制するように設計されたフレームワーク内で、変分オートエンコーダと（時空間）注意を組み合わせた、高次元の経験的データから動的システムを学習する方法を提案します。
私たちは、基礎となる動的モデルが最初はまったく不明であるシステムの複数の異なるインスタンスからデータを利用できる設定に焦点を当てます。
このアプローチは、インスタンス固有のエンコーディング (初期条件、定数などのキャプチャ) と、システムのすべてのインスタンス/実現にわたって普遍的な潜在ダイナミクス モデルへの分離に基づいています。
分離は自動化されたデータ駆動型の方法で行われ、モデルへの入力として必要なのは経験的なデータのみです。
このアプローチにより、任意の連続時間におけるシステム動作の効果的な推論が可能になりますが、明示的なニューラル ODE 定式化は必要ないため、効率的で拡張性が高くなります。
私たちは、合成データセットと現実世界のデータセットに対する単純な理論分析と広範な実験を通じて行動を研究します。
後者は、有限データに基づいた複雑なシステムのダイナミクスの学習を調査し、提案されたアプローチが最先端の神経力学モデルを上回るパフォーマンスを発揮できることを示しています。
私たちは、まったく新しいシステム介入の下で取得されたデータへの転送という文脈での、より一般的な帰納的バイアスも研究します。
全体として、私たちの結果は、異種データから動的モデルを効率的に学習するための有望な新しいフレームワークを提供し、物理学、医学、生物学、工学などの幅広い分野に応用できる可能性があります。

要約(オリジナル)

We propose a method for learning dynamical systems from high-dimensional empirical data that combines variational autoencoders and (spatio-)temporal attention within a framework designed to enforce certain scientifically-motivated invariances. We focus on the setting in which data are available from multiple different instances of a system whose underlying dynamical model is entirely unknown at the outset. The approach rests on a separation into an instance-specific encoding (capturing initial conditions, constants etc.) and a latent dynamics model that is itself universal across all instances/realizations of the system. The separation is achieved in an automated, data-driven manner and only empirical data are required as inputs to the model. The approach allows effective inference of system behaviour at any continuous time but does not require an explicit neural ODE formulation, which makes it efficient and highly scalable. We study behaviour through simple theoretical analyses and extensive experiments on synthetic and real-world datasets. The latter investigate learning the dynamics of complex systems based on finite data and show that the proposed approach can outperform state-of-the-art neural-dynamical models. We study also more general inductive bias in the context of transfer to data obtained under entirely novel system interventions. Overall, our results provide a promising new framework for efficiently learning dynamical models from heterogeneous data with potential applications in a wide range of fields including physics, medicine, biology and engineering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google