Learning Neural PDE Solvers with Parameter-Guided Channel Attention

要約

科学的機械学習 (SciML) は、偏微分方程式 (PDE) によって支配される物理システムの学習済みエミュレーターの開発に関係しています。
天気予報、分子動力学、逆設計などのアプリケーション領域では、非効率で微分不可能な数値シミュレーション アルゴリズムを強化または置き換えるために、ML ベースのサロゲート モデルがますます使用されています。
近年、偏微分方程式の解を近似するための ML ベースの方法が多数提案されていますが、通常、それらは偏微分方程式のパラメーターに適応しないため、トレーニング中に表示されない偏微分方程式パラメーターに一般化することが困難になります。
私たちは、ニューラル サロゲート モデル用の PDE パラメーター エンベディング (CAPE) コンポーネントによってガイドされるチャネル アテンション メカニズムと、シンプルかつ効果的なカリキュラム学習戦略を提案します。
CAPE モジュールはニューラル PDE ソルバーと組み合わせることができ、目に見えない PDE パラメーターに適応できるようになります。
カリキュラム学習戦略により、教師による強制トレーニングと完全な自動回帰トレーニングの間のシームレスな移行が可能になります。
一般的な PDE ベンチマークを使用して CAPE をカリキュラム学習戦略と組み合わせて比較し、ベースライン モデルと比較して一貫した大幅な改善が得られました。
この実験では、推論時間やパラメータ数を大幅に増加させることなく、目に見えない PDE パラメータを一般化できる能力の向上など、CAPE のいくつかの利点も示しています。

要約(オリジナル)

Scientific Machine Learning (SciML) is concerned with the development of learned emulators of physical systems governed by partial differential equations (PDE). In application domains such as weather forecasting, molecular dynamics, and inverse design, ML-based surrogate models are increasingly used to augment or replace inefficient and often non-differentiable numerical simulation algorithms. While a number of ML-based methods for approximating the solutions of PDEs have been proposed in recent years, they typically do not adapt to the parameters of the PDEs, making it difficult to generalize to PDE parameters not seen during training. We propose a Channel Attention mechanism guided by PDE Parameter Embeddings (CAPE) component for neural surrogate models and a simple yet effective curriculum learning strategy. The CAPE module can be combined with neural PDE solvers allowing them to adapt to unseen PDE parameters. The curriculum learning strategy provides a seamless transition between teacher-forcing and fully auto-regressive training. We compare CAPE in conjunction with the curriculum learning strategy using a popular PDE benchmark and obtain consistent and significant improvements over the baseline models. The experiments also show several advantages of CAPE, such as its increased ability to generalize to unseen PDE parameters without large increases inference time and parameter count.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google