Universal Physics Transformers: A Framework For Efficiently Scaling Neural Operators

要約

物理学代理モデルとして機能するニューラル演算子は、最近ますます関心を集めています。
問題がますます複雑になるにつれて、自然な疑問が生じます。ニューラル オペレーターをより大規模で複雑なシミュレーションに拡張する効率的な方法は何でしょうか。最も重要なのは、さまざまなタイプのシミュレーション データセットを考慮することです。
これは、数値的に対応するものと同様に、システムの基礎となるダイナミクスが類似している場合でも、アプリケーション間で異なる手法が使用されるため、特に興味深いものです。
トランスフォーマーの柔軟性により、ドメイン全体で統一されたアーキテクチャが可能になりましたが、ニューラル オペレーターは主に問題固有の設計に従い、ラグランジュ シミュレーションには GNN が一般的に使用され、オイラー シミュレーションではグリッド ベースのモデルが主流となります。
幅広い時空間問題に対する効率的で統合された学習パラダイムである Universal Physics Transformers (UPT) を紹介します。
UPT はグリッドまたはパーティクルベースの潜在構造なしで動作するため、メッシュとパーティクル全体にわたる柔軟性とスケーラビリティが可能になります。
UPT は潜在空間内のダイナミクスを効率的に伝播し、逆エンコードおよびデコード技術によって強調されます。
最後に、UPT により、時空の任意の時点での潜在空間表現のクエリが可能になります。
我々は、メッシュベースの流体シミュレーション、定常状態のレイノルズ平均ナビエ・ストークスシミュレーション、およびラグランジュベースのダイナミクスにおけるUPTの多様な適用性と有効性を実証します。

要約(オリジナル)

Neural operators, serving as physics surrogate models, have recently gained increased interest. With ever increasing problem complexity, the natural question arises: what is an efficient way to scale neural operators to larger and more complex simulations – most importantly by taking into account different types of simulation datasets. This is of special interest since, akin to their numerical counterparts, different techniques are used across applications, even if the underlying dynamics of the systems are similar. Whereas the flexibility of transformers has enabled unified architectures across domains, neural operators mostly follow a problem specific design, where GNNs are commonly used for Lagrangian simulations and grid-based models predominate Eulerian simulations. We introduce Universal Physics Transformers (UPTs), an efficient and unified learning paradigm for a wide range of spatio-temporal problems. UPTs operate without grid- or particle-based latent structures, enabling flexibility and scalability across meshes and particles. UPTs efficiently propagate dynamics in the latent space, emphasized by inverse encoding and decoding techniques. Finally, UPTs allow for queries of the latent space representation at any point in space-time. We demonstrate diverse applicability and efficacy of UPTs in mesh-based fluid simulations, and steady-state Reynolds averaged Navier-Stokes simulations, and Lagrangian-based dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google