Pretraining Codomain Attention Neural Operators for Solving Multiphysics PDEs

要約

既存のニューラル オペレーター アーキテクチャは、複雑な形状、物理変数間の相互作用、および大量の高解像度トレーニング データの不足により、結合偏微分方程式 (PDE) を使用してマルチフィジックス問題を解決する際に課題に直面しています。
これらの問題に対処するために、私たちはコドメイン アテンション ニューラル オペレーター (CoDA-NO) を提案します。これは、コドメインまたはチャネル空間に沿って関数をトークン化し、複数の PDE システムの自己教師あり学習または事前トレーニングを可能にします。
具体的には、位置エンコーディング、セルフアテンション、および正規化レイヤーを関数空間に拡張します。
CoDA-NO は、単一のモデルでさまざまな PDE システムの表現を学習できます。
私たちは、少数ショット学習設定を考慮することにより、複数のシステムにわたるマルチフィジックス偏微分方程式を学習するためのバックボーンとしての CoDA-NO の可能性を評価します。
流体流動シミュレーションや流体構造相互作用など、データが限られた複雑な下流タスクでは、CoDA-NO が少数ショット学習タスクで既存の手法よりも $36\%$ 以上優れたパフォーマンスを発揮することがわかりました。
コードは https://github.com/ashiq24/CoDA-NO で入手できます。

要約(オリジナル)

Existing neural operator architectures face challenges when solving multiphysics problems with coupled partial differential equations (PDEs), due to complex geometries, interactions between physical variables, and the lack of large amounts of high-resolution training data. To address these issues, we propose Codomain Attention Neural Operator (CoDA-NO), which tokenizes functions along the codomain or channel space, enabling self-supervised learning or pretraining of multiple PDE systems. Specifically, we extend positional encoding, self-attention, and normalization layers to the function space. CoDA-NO can learn representations of different PDE systems with a single model. We evaluate CoDA-NO’s potential as a backbone for learning multiphysics PDEs over multiple systems by considering few-shot learning settings. On complex downstream tasks with limited data, such as fluid flow simulations and fluid-structure interactions, we found CoDA-NO to outperform existing methods on the few-shot learning task by over $36\%$. The code is available at https://github.com/ashiq24/CoDA-NO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google