Towards a Foundation Model for Physics-Informed Neural Networks: Multi-PDE Learning with Active Sampling

要約

物理学に基づいたニューラルネットワーク（PINN）は、物理的法則をニューラルネットワークトレーニングに埋め込むことにより、部分微分方程式（PDE）を解くための強力なフレームワークとして浮上しています。
ただし、従来のPINNモデルは通常、単一のPDE向けに設計されており、異なる物理システムにわたって一般化可能性を制限します。
この作業では、統一されたアーキテクチャ内で複数のPDEを解くことができるファンデーションPINNモデルの可能性を探ります。
4つの異なるPDESでトレーニングされた単一のPINNフレームワークの有効性を調査します。単純な高調波発振器（SHO）、1D熱方程式、1D波方程式、および2Dラプラス方程式を調査し、多様な物理的ダイナミクスを学習する能力を示しています。
サンプル効率を高めるために、モンテカルロ（MC）ドロップアウトベースの不確実性推定を使用して、アクティブ学習（AL）を組み込み、最も有益なトレーニングサンプルを繰り返し選択します。
さまざまなアクティブな学習戦略を評価し、完全なデータセットの10％、20％、30％、40％、および50％でトレーニングされたモデルを比較し、ソリューションの精度への影響を分析します。
我々の結果は、ターゲットを絞った不確実性サンプリングにより、トレーニングサンプルが少なくなるとパフォーマンスが大幅に向上し、複数のPDEで効率的な学習につながることが示されています。
この作業は、ネットワークアーキテクチャを再設計することなく、さまざまな物理学ベースの問題に適応できる一般化可能なPINNベースの基礎モデルの実現可能性を強調しています。
私たちの調査結果は、アクティブ学習を備えたマルチPDE PINNが、物理ベースのディープ学習アプリケーションの高精度を維持しながら、計算コストを削減するための効果的なアプローチとして役立つことを示唆しています。

要約(オリジナル)

Physics-Informed Neural Networks (PINNs) have emerged as a powerful framework for solving partial differential equations (PDEs) by embedding physical laws into neural network training. However, traditional PINN models are typically designed for single PDEs, limiting their generalizability across different physical systems. In this work, we explore the potential of a foundation PINN model capable of solving multiple PDEs within a unified architecture. We investigate the efficacy of a single PINN framework trained on four distinct PDEs-the Simple Harmonic Oscillator (SHO), the 1D Heat Equation, the 1D Wave Equation, and the 2D Laplace Equation, demonstrating its ability to learn diverse physical dynamics. To enhance sample efficiency, we incorporate Active Learning (AL) using Monte Carlo (MC) Dropout-based uncertainty estimation, selecting the most informative training samples iteratively. We evaluate different active learning strategies, comparing models trained on 10%, 20%, 30%, 40%, and 50% of the full dataset, and analyze their impact on solution accuracy. Our results indicate that targeted uncertainty sampling significantly improves performance with fewer training samples, leading to efficient learning across multiple PDEs. This work highlights the feasibility of a generalizable PINN-based foundation model, capable of adapting to different physics-based problems without redesigning network architectures. Our findings suggest that multi-PDE PINNs with active learning can serve as an effective approach for reducing computational costs while maintaining high accuracy in physics-based deep learning applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google