RL-PINNs: Reinforcement Learning-Driven Adaptive Sampling for Efficient Training of PINNs

要約

物理学に基づいたニューラルネットワーク（PINN）は、部分微分方程式（PDE）を解くための強力なフレームワークとして浮上しています。
ただし、彼らのパフォーマンスは、トレーニングポイントを選択するために使用される戦略に大きく依存しています。
残留ベースの改良などの従来の適応サンプリング方法では、多くの場合、PINNのマルチラウンドサンプリングと繰り返し再訓練が必要であり、特に高次または高次の誘導体シナリオで冗長ポイントとコストの勾配計算による計算非効率性につながります。
これらの制限に対処するために、RL-PINNSを提案します。RLPINNSは、1回のサンプリングのみで効率的なトレーニングを可能にする強化学習（RL）駆動型の適応サンプリングフレームワークです。
当社のアプローチは、適応サンプリングをマルコフ決定プロセスとして定式化します。このプロセスでは、RLエージェントが長期的なユーティリティメトリックを最大化することにより最適なトレーニングポイントを動的に選択します。
重大なことに、勾配依存性残留メトリックを報酬信号として計算効率の高い関数変動に置き換え、微分計算のオーバーヘッドを排除します。
さらに、短期的な利益よりも長期的なトレーニングの安定性を優先するために、遅延報酬メカニズムを採用しています。
低正規、非線形、高次元、および高次の問題を含む多様なPDEベンチマーク全体の広範な実験は、RL-PINNが既存の残留駆動型の適応方法を精度で大幅に上回ることを示しています。
特に、RL-Pinnsは、無視できるサンプリングオーバーヘッドでこれを達成し、高次元および高次の問題にスケーラブルにします。

要約(オリジナル)

Physics-Informed Neural Networks (PINNs) have emerged as a powerful framework for solving partial differential equations (PDEs). However, their performance heavily relies on the strategy used to select training points. Conventional adaptive sampling methods, such as residual-based refinement, often require multi-round sampling and repeated retraining of PINNs, leading to computational inefficiency due to redundant points and costly gradient computations-particularly in high-dimensional or high-order derivative scenarios. To address these limitations, we propose RL-PINNs, a reinforcement learning(RL)-driven adaptive sampling framework that enables efficient training with only a single round of sampling. Our approach formulates adaptive sampling as a Markov decision process, where an RL agent dynamically selects optimal training points by maximizing a long-term utility metric. Critically, we replace gradient-dependent residual metrics with a computationally efficient function variation as the reward signal, eliminating the overhead of derivative calculations. Furthermore, we employ a delayed reward mechanism to prioritize long-term training stability over short-term gains. Extensive experiments across diverse PDE benchmarks, including low-regular, nonlinear, high-dimensional, and high-order problems, demonstrate that RL-PINNs significantly outperforms existing residual-driven adaptive methods in accuracy. Notably, RL-PINNs achieve this with negligible sampling overhead, making them scalable to high-dimensional and high-order problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google