Constrained or Unconstrained? Neural-Network-Based Equation Discovery from Data

要約

多くの分野において、専門家はシステムをモデル化するために微分方程式に頼ることがよくあります。
しかし、多くのアプリケーションでは、そのような方程式の理論的な導出やその解の正確な解決は困難な場合があります。
その代わりに、パラメータ推定、演算子サブセット選択、ニューラル ネットワークに基づく手法など、最近開発された手法により、解釈可能範囲の範囲内で常微分方程式と偏微分方程式 (PDE) の両方をデータ駆動型で発見できるようになります。
これらの戦略の成功は、多くの場合、状態変数のノイズの多い観測から代表的な方程式を正しく特定できるかどうか、そして重要なこととして、それらの方程式を強制するために利用される数学的戦略がそれと絡み合っているかどうかにかかっています。
特に、後者は、制約のない最適化戦略によって一般的に対処されてきました。
PDE をニューラル ネットワークとして表現し、制約付き最適化問題を解決し、物理情報に基づくニューラル ネットワーク (PINN) に似た中間状態表現を使用することによって PDE を発見することを提案します。
この制約付き最適化問題の目的関数はデータのマッチングを促進しますが、その制約では、いくつかの空間コロケーション ポイントで PDE が満たされることが要求されます。
この制約付き最適化問題を解決するために、ペナルティ法と広く使用されている信頼領域バリア法を提示し、数値例でこれらの方法を比較します。
Burgers 方程式と Korteweg-De Vreis 方程式に関する結果は、特にノイズ レベルが高い場合やコロケーション ポイントが少ない場合、後者の制約付き手法がペナルティ手法よりも優れていることを示しています。
どちらの方法でも、自動微分に依存する PINN タイプの方法ではなく、有限差分法などの古典的な方法を使用して、これらの発見されたニューラル ネットワーク偏微分方程式を解きます。
その他の小さいながらも重要な実装の詳細について簡単に説明します。

要約(オリジナル)

Throughout many fields, practitioners often rely on differential equations to model systems. Yet, for many applications, the theoretical derivation of such equations and/or accurate resolution of their solutions may be intractable. Instead, recently developed methods, including those based on parameter estimation, operator subset selection, and neural networks, allow for the data-driven discovery of both ordinary and partial differential equations (PDEs), on a spectrum of interpretability. The success of these strategies is often contingent upon the correct identification of representative equations from noisy observations of state variables and, as importantly and intertwined with that, the mathematical strategies utilized to enforce those equations. Specifically, the latter has been commonly addressed via unconstrained optimization strategies. Representing the PDE as a neural network, we propose to discover the PDE by solving a constrained optimization problem and using an intermediate state representation similar to a Physics-Informed Neural Network (PINN). The objective function of this constrained optimization problem promotes matching the data, while the constraints require that the PDE is satisfied at several spatial collocation points. We present a penalty method and a widely used trust-region barrier method to solve this constrained optimization problem, and we compare these methods on numerical examples. Our results on the Burgers’ and the Korteweg-De Vreis equations demonstrate that the latter constrained method outperforms the penalty method, particularly for higher noise levels or fewer collocation points. For both methods, we solve these discovered neural network PDEs with classical methods, such as finite difference methods, as opposed to PINNs-type methods relying on automatic differentiation. We briefly highlight other small, yet crucial, implementation details.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google