Reinforcement learning-based estimation for partial differential equations

要約

流体の流れのような非線形偏微分方程式に支配される系では、カルマンフィルタのような状態推定器の設計は、元の高次元のダイナミクスを計算しやすい低次元空間に投影する縮小次数モデル（ROM）に依存している。しかし、ROMは大きな誤差を生じやすく、推定器の性能に悪影響を及ぼす。本論文では、強化学習によって学習された非線形な政策によって、測定値を取り込む補正項が与えられるROMベースの推定器である強化学習縮小次数推定器（reinforcement learning reduced-order estimator: RL-ROE）を紹介する。ポリシーの非線形性により、RL-ROEはダイナミクスの不完全な知識を利用しつつ、ROMの誤差を効率的に補正することができる。Burgers方程式とNavier-Stokes方程式の例を用いて、センサーの数が非常に少ない限界において、学習されたRL-ROEが同じROMを用いて設計されたカルマンフィルターを凌駕することを示す。さらに、RL-ROEは、様々な物理パラメータ値に対応する軌道の高精度な高次元状態推定を、物理パラメータ値を直接知ることなく行うことができる。

要約(オリジナル)

In systems governed by nonlinear partial differential equations such as fluid flows, the design of state estimators such as Kalman filters relies on a reduced-order model (ROM) that projects the original high-dimensional dynamics onto a computationally tractable low-dimensional space. However, ROMs are prone to large errors, which negatively affects the performance of the estimator. Here, we introduce the reinforcement learning reduced-order estimator (RL-ROE), a ROM-based estimator in which the correction term that takes in the measurements is given by a nonlinear policy trained through reinforcement learning. The nonlinearity of the policy enables the RL-ROE to compensate efficiently for errors of the ROM, while still taking advantage of the imperfect knowledge of the dynamics. Using examples involving the Burgers and Navier-Stokes equations, we show that in the limit of very few sensors, the trained RL-ROE outperforms a Kalman filter designed using the same ROM. Moreover, it yields accurate high-dimensional state estimates for trajectories corresponding to various physical parameter values, without direct knowledge of the latter.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL