Learning Neural PDE Solvers with Parameter-Guided Channel Attention

要約

タイトル：パラメータガイドのチャンネルアテンションを用いたニューラルPDEソルバーの学習

要約：
– Scientific Machine Learning（SciML）は、偏微分方程式（PDE）で支配される物理システムの学習済みエミュレータの開発に関心がある。
– 天気予報、分子動力学、逆設計などのアプリケーション領域では、非効率で非差分可能な数値シミュレーションアルゴリズムを補完または置換するために、MLベースの代理モデルが増加している。
– 近年、PDEの解の近似に関する多数のMLベースの方法が提案されてきたが、通常、PDEのパラメータに適応しないため、トレーニング中に見られなかったPDEパラメータに一般化することが困難である。
– ニューラルサロゲートモデルのためのPDE Parameter Embeddings（CAPE）コンポーネントによるパラメータガイドのチャンネルアテンションメカニズムと、シンプルで効果的なカリキュラム学習戦略を提案する。
– CAPEモジュールは、ニューラルPDEソルバーと組み合わせることができ、未知のPDEパラメータに適応することができる。
– カリキュラム学習戦略は、ティーチングフォーシングと完全自己回帰的なトレーニングの間のシームレスな移行を提供する。
– 人気のあるPDEベンチマークを使用して、CAPEとカリキュラム学習戦略を比較し、基本モデルに比べて一貫して重要な改善を得た。
– 実験は、CAPEのいくつかの利点（推論時間とパラメータ数の大幅な増加のない未知のPDEパラメータに対する汎用性の向上など）を示している。

要約(オリジナル)

Scientific Machine Learning (SciML) is concerned with the development of learned emulators of physical systems governed by partial differential equations (PDE). In application domains such as weather forecasting, molecular dynamics, and inverse design, ML-based surrogate models are increasingly used to augment or replace inefficient and often non-differentiable numerical simulation algorithms. While a number of ML-based methods for approximating the solutions of PDEs have been proposed in recent years, they typically do not adapt to the parameters of the PDEs, making it difficult to generalize to PDE parameters not seen during training. We propose a Channel Attention mechanism guided by PDE Parameter Embeddings (CAPE) component for neural surrogate models and a simple yet effective curriculum learning strategy. The CAPE module can be combined with neural PDE solvers allowing them to adapt to unseen PDE parameters. The curriculum learning strategy provides a seamless transition between teacher-forcing and fully auto-regressive training. We compare CAPE in conjunction with the curriculum learning strategy using a popular PDE benchmark and obtain consistent and significant improvements over the baseline models. The experiments also show several advantages of CAPE, such as its increased ability to generalize to unseen PDE parameters without large increases inference time and parameter count.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI