Towards a Foundation Model for Partial Differential Equations: Multi-Operator Learning and Extrapolation

要約

大規模言語モデルなどの基盤モデルは、さまざまな言語および画像処理タスクに対処することに成功していることが実証されています。
この研究では、PROSE-PDE という科学的問題に対するマルチモーダル基礎モデルを導入します。
私たちのモデルは、バイモダリティ学習からバイモダリティ学習向けに設計されており、物理システムの基礎となる支配方程式を同時に学習しながら、時空間システムの将来の状態を予測できるマルチオペレーター学習アプローチです。
具体的には、物理​​学、地質学、生物学を含む多くの物理的応用への応用の可能性を備えた、異なる 1 次元の時間依存の非線形定係数偏微分方程式をトレーニングすることによるマルチオペレーター学習に焦点を当てています。
さらに重要なことは、PROSE-PDE が複数のオペレーターの堅牢なトレーニングを通じて物理的特徴を一般化できること、および提案されたモデルがトレーニング中にモデルやデータが見られなかった PDE 解を予測するために外挿できることを実証するために、3 つの外挿研究を提供することです。
さらに、体系的な数値実験を通じて、モデルでシンボリック モダリティを利用すると、複数のオペレーターのトレーニングに伴うウェルポーズネスの問題が効果的に解決され、モデルの予測能力が強化されることを示します。

要約(オリジナル)

Foundation models, such as large language models, have demonstrated success in addressing various language and image processing tasks. In this work, we introduce a multi-modal foundation model for scientific problems, named PROSE-PDE. Our model, designed for bi-modality to bi-modality learning, is a multi-operator learning approach which can predict future states of spatiotemporal systems while concurrently learning the underlying governing equations of the physical system. Specifically, we focus on multi-operator learning by training distinct one-dimensional time-dependent nonlinear constant coefficient partial differential equations, with potential applications to many physical applications including physics, geology, and biology. More importantly, we provide three extrapolation studies to demonstrate that PROSE-PDE can generalize physical features through the robust training of multiple operators and that the proposed model can extrapolate to predict PDE solutions whose models or data were unseen during the training. Furthermore, we show through systematic numerical experiments that the utilization of the symbolic modality in our model effectively resolves the well-posedness problems with training multiple operators and thus enhances our model’s predictive capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google