A Self-Adaptive Penalty Method for Integrating Prior Knowledge Constraints into Neural ODEs

要約

自然システムの連続ダイナミクスは、ニューラル常微分方程式 (ニューラル ODE) を使用して効果的にモデル化されています。
ただし、正確で意味のある予測を行うには、モデルがこれらのシステムを管理する基本的なルールまたは法律に従うことが重要です。
この研究では、制約された自然システムのモデリングを可能にするニューラル ODE の自己適応ペナルティ アルゴリズムを提案します。
提案された自己適応ペナルティ関数は、ペナルティパラメータを動的に調整することができます。
事前知識の明示的な導入は、Neural ODE ベースのモデルの解釈可能性を高めるのに役立ちます。
我々は、人口増加、化学反応の進化、および減衰調和振動子の運動という事前知識の制約を備えた 3 つの自然システムをモデル化することにより、提案されたアプローチを検証します。
数値実験と他のペナルティ ニューラル ODE アプローチおよび \emph{vanilla} ニューラル ODE との比較は、制約された自然システムのモデル化におけるニューラル ODE に対して提案された自己適応ペナルティ アルゴリズムの有効性を示しています。
さらに、自己適応ペナルティアプローチにより、信頼性が高く意味のある予測を備えた、より正確で堅牢なモデルが提供されます。

要約(オリジナル)

The continuous dynamics of natural systems has been effectively modelled using Neural Ordinary Differential Equations (Neural ODEs). However, for accurate and meaningful predictions, it is crucial that the models follow the underlying rules or laws that govern these systems. In this work, we propose a self-adaptive penalty algorithm for Neural ODEs to enable modelling of constrained natural systems. The proposed self-adaptive penalty function can dynamically adjust the penalty parameters. The explicit introduction of prior knowledge helps to increase the interpretability of Neural ODE -based models. We validate the proposed approach by modelling three natural systems with prior knowledge constraints: population growth, chemical reaction evolution, and damped harmonic oscillator motion. The numerical experiments and a comparison with other penalty Neural ODE approaches and \emph{vanilla} Neural ODE, demonstrate the effectiveness of the proposed self-adaptive penalty algorithm for Neural ODEs in modelling constrained natural systems. Moreover, the self-adaptive penalty approach provides more accurate and robust models with reliable and meaningful predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google