SUPRA: Subspace Parameterized Attention for Neural Operator on General Domains

要約

神経演算子は、部分的な微分方程式（PDE）を解くための効率的な代理モデルですが、その重要なコンポーネントは課題に直面しています。（1）注意メカニズムは大規模なメッシュの計算の非効率性に苦しみ、（2）スペクトルの畳み込みは、平地のドメトルに依存しています。
これらの問題に取り組むために、ユークリッド空間のベクトル上の標準的な注意メカニズムにおけるマトリックスベクトル操作を、ベクトル空間の双線形および線形演算子として考慮し、関数空間への注意メカニズムを一般化します。
この新しい注意メカニズムは、標準的な注意と完全に同等ですが、関数空間の無限の次元のために計算することは不可能です。
これに対処するために、モデル削減技術に触発されて、有限次元サブスペース内の注意メカニズムに近似するサブスペースパラメーター化された注意（上位）ニューラル演算子を提案します。
Supraの不規則なドメインにサブスペースを構築するために、Laplacianの固有権を使用して提案します。これは、ドメインのジオメトリに自然に適応し、滑らかな関数の最適な近似を保証します。
実験では、超神経演算子が、最先端の計算効率を維持しながら、さまざまなPDEデータセットでエラー率を最大33％減らすことが示されています。

要約(オリジナル)

Neural operators are efficient surrogate models for solving partial differential equations (PDEs), but their key components face challenges: (1) in order to improve accuracy, attention mechanisms suffer from computational inefficiency on large-scale meshes, and (2) spectral convolutions rely on the Fast Fourier Transform (FFT) on regular grids and assume a flat geometry, which causes accuracy degradation on irregular domains. To tackle these problems, we regard the matrix-vector operations in the standard attention mechanism on vectors in Euclidean space as bilinear forms and linear operators in vector spaces and generalize the attention mechanism to function spaces. This new attention mechanism is fully equivalent to the standard attention but impossible to compute due to the infinite dimensionality of function spaces. To address this, inspired by model reduction techniques, we propose a Subspace Parameterized Attention (SUPRA) neural operator, which approximates the attention mechanism within a finite-dimensional subspace. To construct a subspace on irregular domains for SUPRA, we propose using the Laplacian eigenfunctions, which naturally adapt to domains’ geometry and guarantee the optimal approximation for smooth functions. Experiments show that the SUPRA neural operator reduces error rates by up to 33% on various PDE datasets while maintaining state-of-the-art computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google