PICL: Physics Informed Contrastive Learning for Partial Differential Equations

要約

ニューラル演算子は、偏微分方程式 (PDE) の代理モデルとして最近人気が高まっています。
関数ではなく解汎関数を学習することは、複雑な偏微分方程式に対する高速かつ正確な解を計算するための強力なアプローチであることが証明されています。
さまざまなサロゲート モデリング タスクでニューラル オペレーターのパフォーマンスを評価する多くの研究が行われてきましたが、これらの研究では通常、一度に 1 つの方程式のパフォーマンスを評価します。
この研究では、複数の支配方程式にわたるニューラル オペレーターの汎化を同時に改善する、一般化対比損失を利用した新しい対比事前トレーニング フレームワークを開発します。
支配方程式係数は、システム間のグラウンドトゥルースの類似性を測定するために使用されます。
物理学に基づいたシステム進化と潜在空間モデルの出力の組み合わせが入力データに固定され、距離関数で使用されます。
物理学に基づいたコントラスト事前トレーニングにより、固定未来タスクにおけるフーリエ ニューラル演算子の精度と一般化の両方が向上し、自己回帰ロールアウトや 1D 熱、バーガーズ、線形移流方程式の超解像タスクでも同等のパフォーマンスが得られることがわかりました。

要約(オリジナル)

Neural operators have recently grown in popularity as Partial Differential Equation (PDEs) surrogate models. Learning solution functionals, rather than functions, has proven to be a powerful approach to calculate fast, accurate solutions to complex PDEs. While much work has been done evaluating neural operator performance on a wide variety of surrogate modeling tasks, these works normally evaluate performance on a single equation at a time. In this work, we develop a novel contrastive pretraining framework utilizing Generalized Contrastive Loss that improves neural operator generalization across multiple governing equations simultaneously. Governing equation coefficients are used to measure ground-truth similarity between systems. A combination of physics-informed system evolution and latent-space model output are anchored to input data and used in our distance function. We find that physics-informed contrastive pretraining improves both accuracy and generalization for the Fourier Neural Operator in fixed-future task, with comparable performance on the autoregressive rollout, and superresolution tasks for the 1D Heat, Burgers’, and linear advection equations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google