Binary structured physics-informed neural networks for solving equations with rapidly changing solutions

要約

深層学習に根ざした物理情報に基づいたニューラル ネットワーク (PINN) は、偏微分方程式 (PDE) を解くための有望なアプローチとして浮上しています。
PDE によって記述された物理情報をフィードフォワード ニューラル ネットワークに埋め込むことにより、PINN はラベル データを必要とせずに解を近似する代理モデルとしてトレーニングされます。
それにもかかわらず、PINN が顕著なパフォーマンスを示したとしても、特に急速に変化する解を特徴とする方程式を扱う場合には、困難に直面する可能性があります。
これらの問題には、収束の遅さ、極小値に囚われやすいこと、解の精度の低下などが含まれます。
これらの問題に対処するために、我々はバイナリ構造ニューラル ネットワーク (BsNN) をニューラル ネットワーク コンポーネントとして採用するバイナリ構造物理情報ニューラル ネットワーク (BsPINN) フレームワークを提案します。
BsPINN は、完全に接続されたニューラル ネットワークと比較してニューロン間の接続を減らすバイナリ構造を利用することで、ソリューションの局所的な特徴をより効果的かつ効率的に捕捉することに優れています。
これらの機能は、ソリューションの性質の急速な変化を学習するために特に重要です。
バーガース方程式、オイラー方程式、ヘルムホルツ方程式、高次元ポアソン方程式を解く一連の数値実験において、BsPINN は PINN と比較して優れた収束速度と高い精度を示します。
これらの実験から、過剰な平滑化を引き起こす PINN の隠れ層の増加によって引き起こされる問題が BsPINN によって解決され、PDE 解の非平滑性による精度の低下が防止されることがわかりました。

要約(オリジナル)

Physics-informed neural networks (PINNs), rooted in deep learning, have emerged as a promising approach for solving partial differential equations (PDEs). By embedding the physical information described by PDEs into feedforward neural networks, PINNs are trained as surrogate models to approximate solutions without the need for label data. Nevertheless, even though PINNs have shown remarkable performance, they can face difficulties, especially when dealing with equations featuring rapidly changing solutions. These difficulties encompass slow convergence, susceptibility to becoming trapped in local minima, and reduced solution accuracy. To address these issues, we propose a binary structured physics-informed neural network (BsPINN) framework, which employs binary structured neural network (BsNN) as the neural network component. By leveraging a binary structure that reduces inter-neuron connections compared to fully connected neural networks, BsPINNs excel in capturing the local features of solutions more effectively and efficiently. These features are particularly crucial for learning the rapidly changing in the nature of solutions. In a series of numerical experiments solving Burgers equation, Euler equation, Helmholtz equation, and high-dimension Poisson equation, BsPINNs exhibit superior convergence speed and heightened accuracy compared to PINNs. From these experiments, we discover that BsPINNs resolve the issues caused by increased hidden layers in PINNs resulting in over-smoothing, and prevent the decline in accuracy due to non-smoothness of PDEs solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google