PINNsFormer: A Transformer-Based Framework For Physics-Informed Neural Networks

要約

物理情報に基づいたニューラル ネットワーク (PINN) は、偏微分方程式 (PDE) の数値解を近似するための有望な深層学習フレームワークとして浮上しています。
しかし、多層パーセプトロン (MLP) に依存する従来の PINN は、実際の物理システムに固有の重要な時間依存性を無視しているため、初期条件の制約をグローバルに伝播し、さまざまなシナリオの下で真の解を正確に捉えることができません。
このペーパーでは、この制限に対処するために設計された、PINNsFormer と呼ばれる新しい Transformer ベースのフレームワークを紹介します。
PINNsFormer は、マルチヘッド アテンション メカニズムを利用して時間依存性をキャプチャすることにより、PDE 解を正確に近似できます。
PINNsFormer は、ポイント単位の入力を擬似シーケンスに変換し、ポイント単位の PINN 損失を逐次損失に置き換えます。
さらに、ディープ ニューラル ネットワークによるフーリエ分解を予測する新しい活性化関数 Wavelet が組み込まれています。
経験的な結果は、PINNsFormer が、PINN の故障モードや高次元偏微分方程式を含むさまざまなシナリオにわたって優れた一般化能力と精度を達成することを示しています。
さらに、PINNsFormer は、PINN の既存の学習スキームを統合する柔軟性を提供し、そのパフォーマンスをさらに強化します。

要約(オリジナル)

Physics-Informed Neural Networks (PINNs) have emerged as a promising deep learning framework for approximating numerical solutions to partial differential equations (PDEs). However, conventional PINNs, relying on multilayer perceptrons (MLP), neglect the crucial temporal dependencies inherent in practical physics systems and thus fail to propagate the initial condition constraints globally and accurately capture the true solutions under various scenarios. In this paper, we introduce a novel Transformer-based framework, termed PINNsFormer, designed to address this limitation. PINNsFormer can accurately approximate PDE solutions by utilizing multi-head attention mechanisms to capture temporal dependencies. PINNsFormer transforms point-wise inputs into pseudo sequences and replaces point-wise PINNs loss with a sequential loss. Additionally, it incorporates a novel activation function, Wavelet, which anticipates Fourier decomposition through deep neural networks. Empirical results demonstrate that PINNsFormer achieves superior generalization ability and accuracy across various scenarios, including PINNs failure modes and high-dimensional PDEs. Moreover, PINNsFormer offers flexibility in integrating existing learning schemes for PINNs, further enhancing its performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google