Masked Autoencoders are PDE Learners

要約

偏微分方程式 (PDE) のニューラル ソルバーは、高速かつ正確な物理解を生成する大きな可能性を秘めていますが、その実用性は一般化可能性によって現在制限されています。
PDE は広範なスケールで進化し、多様な動作を示します。
これらの現象を予測するには、さまざまな係数、境界条件、解像度、さらには方程式を含む、さまざまな入力にわたる表現を学習する必要があります。
一般化可能な PDE モデリングへのステップとして、マスクされた事前トレーニングを物理問題に適応させます。
PDE にわたる自己教師あり学習を通じて、マスクされたオートエンコーダーは異質な物理を統合して意味のある潜在表現を学習し、この空間で潜在 PDE 演算を実行できます。
さらに、マスクされた事前トレーニングによって PDE 係数回帰と PDE 特徴の分類が改善されることを示します。
最後に、学習された潜在表現に基づいてニューラル ソルバーを調整すると、さまざまな係数、離散化、境界条件、さらには目に見えない偏微分方程式にわたるタイムステップと超解像のパフォーマンスを向上させることができます。
私たちは、マスクされた事前トレーニングが、潜在的な物理学を大規模に学習するための、大規模でラベルのない異種データセットにわたる統合手法として出現できることを期待しています。

要約(オリジナル)

Neural solvers for partial differential equations (PDEs) have great potential to generate fast and accurate physics solutions, yet their practicality is currently limited by their generalizability. PDEs evolve over broad scales and exhibit diverse behaviors; predicting these phenomena will require learning representations across a wide variety of inputs which may encompass different coefficients, boundary conditions, resolutions, or even equations. As a step towards generalizable PDE modeling, we adapt masked pretraining for physics problems. Through self-supervised learning across PDEs, masked autoencoders can consolidate heterogeneous physics to learn meaningful latent representations and perform latent PDE arithmetic in this space. Furthermore, we demonstrate that masked pretraining can improve PDE coefficient regression and the classification of PDE features. Lastly, conditioning neural solvers on learned latent representations can improve time-stepping and super-resolution performance across a variety of coefficients, discretizations, or boundary conditions, as well as on unseen PDEs. We hope that masked pretraining can emerge as a unifying method across large, unlabeled, and heterogeneous datasets to learn latent physics at scale.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google