Poseidon: Efficient Foundation Models for PDEs

要約

PDE の解演算子を学習するための基礎モデルである Poseidon を紹介します。
これは、時間条件付きのレイヤー規範を備えたマルチスケール オペレーター トランスフォーマーに基づいており、時間内連続評価を可能にします。
時間依存偏微分方程式の半群特性を活用して、トレーニング データの大幅なスケールアップを可能にする新しいトレーニング戦略も提案されています。
ポセイドンは、流体力学の支配方程式のために、多様で大規模なデータセットで事前トレーニングされています。
次に、さまざまな PDE タイプと演算子を含む 15 の困難な下流タスクのスイートで評価されます。
私たちは、Poseidon がサンプル効率と精度の両方の点でベースラインを大幅に上回っており、全体的に優れたパフォーマンスを示していることを示しています。
ポセイドンはまた、事前トレーニング中には見ら​​れない新しい物理学を非常によく一般化します。
さらに、Poseidon は、事前トレーニングと下流タスクの両方において、モデルとデータのサイズに関してスケーリングします。
まとめると、私たちの結果は、下流の目に見えない無関係な偏微分方程式を一般化するために、事前トレーニング中に非常に小さな偏微分方程式のセットから効果的な表現を学習するポセイドンの驚くべき能力を示し、効果的な汎用偏微分方程式基礎モデルとしての可能性を示しています。
最後に、Poseidon モデルと基礎となる事前トレーニングおよびダウンストリーム データセットはオープンソースであり、コードは https://github.com/camlab-ethz/poseidon で、事前トレーニングされたモデルとデータセットは https://huggingface.co/camlab で入手できます。
-エスツ。

要約(オリジナル)

We introduce Poseidon, a foundation model for learning the solution operators of PDEs. It is based on a multiscale operator transformer, with time-conditioned layer norms that enable continuous-in-time evaluations. A novel training strategy leveraging the semi-group property of time-dependent PDEs to allow for significant scaling-up of the training data is also proposed. Poseidon is pretrained on a diverse, large scale dataset for the governing equations of fluid dynamics. It is then evaluated on a suite of 15 challenging downstream tasks that include a wide variety of PDE types and operators. We show that Poseidon exhibits excellent performance across the board by outperforming baselines significantly, both in terms of sample efficiency and accuracy. Poseidon also generalizes very well to new physics that is not seen during pretraining. Moreover, Poseidon scales with respect to model and data size, both for pretraining and for downstream tasks. Taken together, our results showcase the surprising ability of Poseidon to learn effective representations from a very small set of PDEs during pretraining in order to generalize well to unseen and unrelated PDEs downstream, demonstrating its potential as an effective, general purpose PDE foundation model. Finally, the Poseidon model as well as underlying pretraining and downstream datasets are open sourced, with code being available at https://github.com/camlab-ethz/poseidon and pretrained models and datasets at https://huggingface.co/camlab-ethz.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google