Path-minimizing Latent ODEs for improved extrapolation and inference

要約

潜在 ODE モデルは動的システムの柔軟な記述を提供しますが、外挿や複雑な非線形力学を予測するのに苦労する可能性があります。
潜在 ODE アプローチは、未知のシステム パラメーターと初期条件を識別するために暗黙的にエンコーダーに依存しますが、評価時間は既知であり、ODE ソルバーに直接提供されます。
この二分法は、時間に依存しない潜在表現を奨励することで利用できます。
潜在空間における共通の変分ペナルティを各システムの経路長に対する $\ell_2$ ペナルティに置き換えることにより、モデルは、異なる構成を持つシステムのデータ表現と簡単に区別できるデータ表現を学習します。
これにより、減衰調和振動子、自己重力流体、および捕食者-被食者システムを使用したテストで、GRU、RNN、および LSTM エンコーダ/デコーダを使用したベースライン ODE モデルと比較して、より高速なトレーニング、より小さなモデル、より正確な内挿および長時間の外挿が可能になります。
。
また、条件付き正規化フローのデータ要約として潜在を使用することにより、ロトカ・ヴォルテラ パラメーターと初期条件のシミュレーション ベースの推論で優れた結果が得られることも実証します。
トレーニング損失に対する変更は、デコーダーによって使用される特定の認識ネットワークに依存しないため、他の潜在 ODE モデルにも簡単に採用できます。

要約(オリジナル)

Latent ODE models provide flexible descriptions of dynamic systems, but they can struggle with extrapolation and predicting complicated non-linear dynamics. The latent ODE approach implicitly relies on encoders to identify unknown system parameters and initial conditions, whereas the evaluation times are known and directly provided to the ODE solver. This dichotomy can be exploited by encouraging time-independent latent representations. By replacing the common variational penalty in latent space with an $\ell_2$ penalty on the path length of each system, the models learn data representations that can easily be distinguished from those of systems with different configurations. This results in faster training, smaller models, more accurate interpolation and long-time extrapolation compared to the baseline ODE models with GRU, RNN, and LSTM encoder/decoders on tests with damped harmonic oscillator, self-gravitating fluid, and predator-prey systems. We also demonstrate superior results for simulation-based inference of the Lotka-Volterra parameters and initial conditions by using the latents as data summaries for a conditional normalizing flow. Our change to the training loss is agnostic to the specific recognition network used by the decoder and can therefore easily be adopted by other latent ODE models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google