Multiple Physics Pretraining for Physical Surrogate Models

要約

物理サロゲート モデリングのための自己回帰的でタスクに依存しない事前トレーニング アプローチである多重物理事前トレーニング (MPP) を導入します。
MPP には、さまざまな物理タスクにわたって広く役立つ機能を学習することによって、大規模な代理モデルをトレーニングして、複数の異種物理システムのダイナミクスを同時に予測することが含まれます。
この設定で効果的に学習するために、複数のシステムのフィールドを単一の共有埋め込み空間に投影する共有埋め込みおよび正規化戦略を導入します。
私たちは、広範な流体力学指向のベンチマークにわたって、事前トレーニングと下流タスクの両方におけるアプローチの有効性を検証します。
単一の MPP 事前トレーニング済みトランスフォーマーが、微調整を必要とせずに、すべての事前トレーニング サブタスクでタスク固有のベースラインと一致またはそれを上回るパフォーマンスを発揮できることを示します。
ダウンストリーム タスクについては、MPP でトレーニングされたモデルを微調整すると、最初からトレーニングしたり、事前トレーニングされたビデオ基盤モデルを微調整したりする場合と比較して、新しい物理学に関する複数のタイムステップにわたってより正確な予測が得られることを実証します。
私たちは、再現性とコミュニティ実験のために複数のスケールでトレーニングされたコードとモデルの重みをオープンソースにしています。

要約(オリジナル)

We introduce multiple physics pretraining (MPP), an autoregressive task-agnostic pretraining approach for physical surrogate modeling. MPP involves training large surrogate models to predict the dynamics of multiple heterogeneous physical systems simultaneously by learning features that are broadly useful across diverse physical tasks. In order to learn effectively in this setting, we introduce a shared embedding and normalization strategy that projects the fields of multiple systems into a single shared embedding space. We validate the efficacy of our approach on both pretraining and downstream tasks over a broad fluid mechanics-oriented benchmark. We show that a single MPP-pretrained transformer is able to match or outperform task-specific baselines on all pretraining sub-tasks without the need for finetuning. For downstream tasks, we demonstrate that finetuning MPP-trained models results in more accurate predictions across multiple time-steps on new physics compared to training from scratch or finetuning pretrained video foundation models. We open-source our code and model weights trained at multiple scales for reproducibility and community experimentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google