Defining Foundation Models for Computational Science: A Call for Clarity and Rigor

要約

自然言語処理とコンピュータービジョンにおける基礎モデルの広範な成功により、研究者は科学機械学習と計算科学に概念を拡大するようになりました。
ただし、このポジションペーパーでは、「基礎モデル」という用語は進化する概念であるため、普遍的に受け入れられている定義なしに計算科学への応用がますます使用され、潜在的に混乱を引き起こし、その正確な科学的意味を希釈すると主張しています。
この論文では、一般性、再利用性、およびスケーラビリティのコアバリューに基づいた、計算科学における基礎モデルの正式な定義を提案することにより、このギャップに対処します。
私たちは、そのようなモデルが示さなければならない一連の本質的で望ましい特性を明確にし、有限要素や有限のボリューム方法など、従来の基礎的方法と類似しています。
さらに、データ駆動型の有限要素法（DD-FEM）を紹介します。これは、古典的なFEMのモジュラー構造とデータ駆動型学習の表現力と融合するフレームワークです。
DD-FEMが、スケーラビリティ、適応性、物理学の一貫性など、計算科学の基礎モデルを実現する際に多くの重要な課題にどのように対処するかを示します。
従来の数値的手法を最新のAIパラダイムに橋渡しすることにより、この作業は、計算科学における将来の基礎モデルに向けて新しいアプローチを評価および開発するための厳密な基盤を提供します。

要約(オリジナル)

The widespread success of foundation models in natural language processing and computer vision has inspired researchers to extend the concept to scientific machine learning and computational science. However, this position paper argues that as the term ‘foundation model’ is an evolving concept, its application in computational science is increasingly used without a universally accepted definition, potentially creating confusion and diluting its precise scientific meaning. In this paper, we address this gap by proposing a formal definition of foundation models in computational science, grounded in the core values of generality, reusability, and scalability. We articulate a set of essential and desirable characteristics that such models must exhibit, drawing parallels with traditional foundational methods, like the finite element and finite volume methods. Furthermore, we introduce the Data-Driven Finite Element Method (DD-FEM), a framework that fuses the modular structure of classical FEM with the representational power of data-driven learning. We demonstrate how DD-FEM addresses many of the key challenges in realizing foundation models for computational science, including scalability, adaptability, and physics consistency. By bridging traditional numerical methods with modern AI paradigms, this work provides a rigorous foundation for evaluating and developing novel approaches toward future foundation models in computational science.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google