Neural Context Flows for Learning Generalizable Dynamical Systems

要約

ニューラル常微分方程式は通常、基礎となるシステムのパラメータ変化によって生じる新しい力学的挙動に対して、たとえそのダイナミクスが以前に見た挙動に近いものであったとしても、汎化するのに苦労する。この問題は、変化するパラメータが未観測である場合、つまりデータを収集する際にその値や影響が直接測定できない場合に悪化する。我々はNCF（Neural Context Flow）を導入する。NCFは、ベクトル場への入力として、潜在的なコンテキストベクトルにおいて、前記未観測のパラメータを符号化するフレームワークである。NCFは、パラメータに関するベクトル場の微分可能性を活用し、一次のテイラー展開とともに、任意のコンテキストベクトルが他のパラメータからの軌道に影響を与えることを可能にする。我々は本手法を検証し、確立されたマルチタスクやメタ学習の代替手法と比較し、ロトカ・ヴォルテラ問題、解糖系振動子問題、グレイ・スコット問題において、領域内評価と分布外評価の平均二乗誤差において競争力のある性能を示した。この研究は、条件付き神経ODEから恩恵を受ける科学や関連分野の基礎モデルにとって実用的な意味を持つ。我々のコードは https://github.com/ddrous/ncflow で公開されている。

要約(オリジナル)

Neural Ordinary Differential Equations typically struggle to generalize to new dynamical behaviors created by parameter changes in the underlying system, even when the dynamics are close to previously seen behaviors. The issue gets worse when the changing parameters are unobserved, i.e., their value or influence is not directly measurable when collecting data. We introduce Neural Context Flow (NCF), a framework that encodes said unobserved parameters in a latent context vector as input to a vector field. NCFs leverage differentiability of the vector field with respect to the parameters, along with first-order Taylor expansion to allow any context vector to influence trajectories from other parameters. We validate our method and compare it to established Multi-Task and Meta-Learning alternatives, showing competitive performance in mean squared error for in-domain and out-of-distribution evaluation on the Lotka-Volterra, Glycolytic Oscillator, and Gray-Scott problems. This study holds practical implications for foundational models in science and related areas that benefit from conditional neural ODEs. Our code is openly available at https://github.com/ddrous/ncflow.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL