HyResPINNs: Adaptive Hybrid Residual Networks for Learning Optimal Combinations of Neural and RBF Components for Physics-Informed Modeling

要約

物理情報ニューラルネットワーク(PINN)は偏微分方程式(PDE)の数値解法のための手法の一種として人気が高まっており、ニューラルネットワークは物理的制約を強制するために関連するPDE項によって正則化された損失関数を用いて学習される。我々は、HyResPINNと呼ばれる新しいクラスのPINNを紹介する。HyResPINNは、標準的なニューラルネットワークと放射状基底関数（RBF）ネットワークの出力を組み合わせた適応的なハイブリッド残差ブロックで従来のPINNを補強する。本手法の主な特徴は、各残差ブロック内に適応的な組み合わせパラメータを含むことであり、このパラメータは、ニューラルネットワークとRBFネットワークの出力の寄与の重みを動的に学習する。さらに、残差ブロック間の適応的接続により、ネットワーク全体の柔軟な情報の流れを可能にする。我々は、HyResPINNが従来のPINNよりも訓練点の位置やニューラルネットワークアーキテクチャに頑健であることを示す。さらに、HyResPINNは特定の問題において、訓練コストをわずかに増加させるだけで、競合する手法よりも桁違いに高い精度を提供する。我々は、Allen-Cahn方程式やDarcy-Flow方程式を含む困難なPDEで我々のアプローチの長所を実証した。我々の結果は、HyResPINNが従来の数値計算手法と最新の機械学習ベースのソルバーとのギャップを効果的に埋めることを示唆している。

要約(オリジナル)

Physics-informed neural networks (PINNs) are an increasingly popular class of techniques for the numerical solution of partial differential equations (PDEs), where neural networks are trained using loss functions regularized by relevant PDE terms to enforce physical constraints. We present a new class of PINNs called HyResPINNs, which augment traditional PINNs with adaptive hybrid residual blocks that combine the outputs of a standard neural network and a radial basis function (RBF) network. A key feature of our method is the inclusion of adaptive combination parameters within each residual block, which dynamically learn to weigh the contributions of the neural network and RBF network outputs. Additionally, adaptive connections between residual blocks allow for flexible information flow throughout the network. We show that HyResPINNs are more robust to training point locations and neural network architectures than traditional PINNs. Moreover, HyResPINNs offer orders of magnitude greater accuracy than competing methods on certain problems, with only modest increases in training costs. We demonstrate the strengths of our approach on challenging PDEs, including the Allen-Cahn equation and the Darcy-Flow equation. Our results suggest that HyResPINNs effectively bridge the gap between traditional numerical methods and modern machine learning-based solvers.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL