Self-Supervised Learning with Lie Symmetries for Partial Differential Equations

要約

微分方程式の機械学習は、数値ソルバーに代わる計算効率の高い方法への道を開き、科学と工学に広範な影響を与える可能性があります。
現在のアルゴリズムは通常、特定の設定に合わせて調整されたシミュレートされたトレーニング データを必要としますが、その代わりに、異種ソースから、または乱雑または不完全な実際の動的システムの観察から有用な情報を学習したい場合があります。
この研究では、コンピューター ビジョンで顕著な成功を収めている教師なし表現学習のフレームワークである自己教師あり学習 (SSL) の共同埋め込み手法を実装することにより、異種データから偏微分方程式の汎用表現を学習します。
私たちの表現は、偏微分方程式の係数の回帰などの不変タスクに対するベースラインのアプローチよりも優れたパフォーマンスを発揮すると同時に、ニューラル ソルバーのタイムステップのパフォーマンスも向上します。
私たちは、私たちが提案した方法論が、偏微分方程式の汎用基礎モデルの最終的な開発に役立つことを期待しています。

要約(オリジナル)

Machine learning for differential equations paves the way for computationally efficient alternatives to numerical solvers, with potentially broad impacts in science and engineering. Though current algorithms typically require simulated training data tailored to a given setting, one may instead wish to learn useful information from heterogeneous sources, or from real dynamical systems observations that are messy or incomplete. In this work, we learn general-purpose representations of PDEs from heterogeneous data by implementing joint embedding methods for self-supervised learning (SSL), a framework for unsupervised representation learning that has had notable success in computer vision. Our representation outperforms baseline approaches to invariant tasks, such as regressing the coefficients of a PDE, while also improving the time-stepping performance of neural solvers. We hope that our proposed methodology will prove useful in the eventual development of general-purpose foundation models for PDEs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google