ENMA: Tokenwise Autoregression for Generative Neural PDE Operators

要約

時間依存のパラメトリックな部分微分方程式（PDE）を解くことは、特に広範囲の物理的パラメーターとダイナミクスに一般化する場合、神経解決者にとって根本的な課題のままです。
データが不確実または不完全な場合、多くの場合、ケースです。自然なアプローチは生成モデルに変えることです。
物理現象から生じる時空間ダイナミクスをモデル化するように設計された生成的神経演算子であるEnmaを紹介します。
エンマは、流れの一致損失で訓練された生成されたマスクされた自己回帰トランスを使用して、トークンワイズ生成を可能にする、圧縮された潜在空間での将来のダイナミクスを予測します。
不規則にサンプリングされた空間観測は、注意メカニズムを介して均一な潜在表現にエンコードされ、時空間畳み込みエンコーダーを介してさらに圧縮されます。
これにより、エンマは、ターゲットの軌跡または同様のダイナミクスを備えた過去の状態または補助コンテキストの軌跡のいずれかを条件付けすることにより、推論時にコンファレンス内学習を実行できます。
その結果、新しいPDEレジームに一般化され、時間依存パラメトリックPDEのワンショットサロゲートモデリングをサポートする堅牢で適応性のあるフレームワークができました。

要約(オリジナル)

Solving time-dependent parametric partial differential equations (PDEs) remains a fundamental challenge for neural solvers, particularly when generalizing across a wide range of physical parameters and dynamics. When data is uncertain or incomplete-as is often the case-a natural approach is to turn to generative models. We introduce ENMA, a generative neural operator designed to model spatio-temporal dynamics arising from physical phenomena. ENMA predicts future dynamics in a compressed latent space using a generative masked autoregressive transformer trained with flow matching loss, enabling tokenwise generation. Irregularly sampled spatial observations are encoded into uniform latent representations via attention mechanisms and further compressed through a spatio-temporal convolutional encoder. This allows ENMA to perform in-context learning at inference time by conditioning on either past states of the target trajectory or auxiliary context trajectories with similar dynamics. The result is a robust and adaptable framework that generalizes to new PDE regimes and supports one-shot surrogate modeling of time-dependent parametric PDEs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google