Physics-Informed Echo State Networks for Modeling Controllable Dynamical Systems

要約

エコー状態ネットワーク(ESN)は、非線形動的システムのモデル化に通常採用されるリカレントニューラルネットワークであり、学習が比較的容易である。ESNの学習に物理法則を取り入れることで、外部入力のないカオス的な動的システムをモデル化するために、物理情報付きESN（PI-ESN）が最初に提案されました。PI-ESNは、ESNを正則化するのに考慮システムの常微分方程式(ODE)が役立つため、学習に必要なデータが少なくて済む。本研究では、制御可能な非線形動的システムをモデル化するために、外部入力を用いてPI-ESNを拡張する。さらに、既存の自己適応的バランシング損失法を用いて、全損失関数における残差回帰項と物理情報損失項の寄与のバランスをとる。ODEでモデル化された2つの非線形システム、Van der Pol振動子と4タンクシステム、および1つの微分代数（DAE）システム、電動水中ポンプを用いた実験により、提案されたPI-ESNは、特にデータの利用可能性が限られたシナリオにおいて、従来のESNを凌駕することが明らかになった。さらに実験により、提案したPI-ESNはODE方程式のパラメトリックな不確定性に対してロバストであり、PI-ESNを用いたモデル予測制御は、特に学習データが乏しい場合に、通常のESNを用いたモデル予測制御を上回ることが実証された。

要約(オリジナル)

Echo State Networks (ESNs) are recurrent neural networks usually employed for modeling nonlinear dynamic systems with relatively ease of training. By incorporating physical laws into the training of ESNs, Physics-Informed ESNs (PI-ESNs) were proposed initially to model chaotic dynamic systems without external inputs. They require less data for training since Ordinary Differential Equations (ODEs) of the considered system help to regularize the ESN. In this work, the PI-ESN is extended with external inputs to model controllable nonlinear dynamic systems. Additionally, an existing self-adaptive balancing loss method is employed to balance the contributions of the residual regression term and the physics-informed loss term in the total loss function. The experiments with two nonlinear systems modeled by ODEs, the Van der Pol oscillator and the four-tank system, and with one differential-algebraic (DAE) system, an electric submersible pump, revealed that the proposed PI-ESN outperforms the conventional ESN, especially in scenarios with limited data availability, showing that PI-ESNs can regularize an ESN model with external inputs previously trained on just a few datapoints, reducing its overfitting and improving its generalization error (up to 92% relative reduction in the test error). Further experiments demonstrated that the proposed PI-ESN is robust to parametric uncertainties in the ODE equations and that model predictive control using PI-ESN outperforms the one using plain ESN, particularly when training data is scarce.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL