Masked Autoencoders are PDE Learners

要約

偏微分方程式 (PDE) のニューラル ソルバーは、高速かつ正確な物理解を生成する大きな可能性を秘めていますが、その実用性は現在、一般化可能性によって制限されています。
PDE は広範なスケールで進化し、多様な動作を示します。
これらの現象を予測するには、さまざまな係数、境界条件、解像度、さらには方程式を含む、さまざまな入力にわたる表現を学習する必要があります。
一般化可能な PDE モデリングへのステップとして、マスクされた事前トレーニングを物理問題に適応させます。
PDE にわたる自己教師あり学習を通じて、マスクされたオートエンコーダーは異質な物理を統合して豊富な潜在表現を学習できます。
学習された表現は、限られた目に見えない方程式またはパラメーターのセットに一般化でき、PDE 係数を回帰したり PDE 特徴を分類したりするのに十分な意味があることを示します。
さらに、学習された潜在表現に基づいてニューラル ソルバーを調整すると、さまざまな係数、離散化、または境界条件、さらには特定の目に見えない偏微分方程式にわたって、タイムステップと超解像のパフォーマンスを向上させることができます。
私たちは、マスクされた事前トレーニングが、潜在的な物理学を大規模に学習するための、大規模でラベルのない異種データセットにわたる統合手法として出現できることを期待しています。

要約(オリジナル)

Neural solvers for partial differential equations (PDEs) have great potential to generate fast and accurate physics solutions, yet their practicality is currently limited by their generalizability. PDEs evolve over broad scales and exhibit diverse behaviors; predicting these phenomena will require learning representations across a wide variety of inputs which may encompass different coefficients, boundary conditions, resolutions, or even equations. As a step towards generalizable PDE modeling, we adapt masked pretraining for physics problems. Through self-supervised learning across PDEs, masked autoencoders can consolidate heterogeneous physics to learn rich latent representations. We show that learned representations can generalize to a limited set of unseen equations or parameters and are meaningful enough to regress PDE coefficients or the classify PDE features. Furthermore, conditioning neural solvers on learned latent representations can improve time-stepping and super-resolution performance across a variety of coefficients, discretizations, or boundary conditions, as well as on certain unseen PDEs. We hope that masked pretraining can emerge as a unifying method across large, unlabeled, and heterogeneous datasets to learn latent physics at scale.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google