Transformer for Partial Differential Equations’ Operator Learning

要約

タイトル：偏微分方程式オペレータ学習のためのTransformer
要約：
– 偏微分方程式の解オペレータのデータ駆動型学習は、根本的な解の近似のための有望なパラダイムとして最近登場しています。
– 解オペレータは、問題特有の帰納的バイアスに基づいて構築されたディープラーニングモデルによって通常パラメータ化されます。たとえば、関数値がサンプリングされるローカルグリッド構造を利用する畳み込みまたはグラフニューラルネットワークです。
– 一方、アテンションメカニズムは、入力内のパターンを暗黙的に利用する柔軟な方法を提供し、任意のクエリロケーションと入力の関係をさらに利用できます。
– 本研究では、データ駆動型オペレータ学習のためのアテンションベースのフレームワークであるOperator Transformer（OFormer）を提案します。私たちのフレームワークは、自己アテンション、クロスアテンション、およびポイントごとのマルチレイヤーパーセプトロン（MLPs）のセットに基づいて構築されており、したがって、入力関数のサンプリングパターンまたはクエリロケーションについては少数の仮定しか行いません。
– 提案されたフレームワークは、標準的なベンチマーク問題において競争力があり、ランダムサンプリングされた入力に柔軟に適応できることを示します。

要約(オリジナル)

Data-driven learning of partial differential equations’ solution operators has recently emerged as a promising paradigm for approximating the underlying solutions. The solution operators are usually parameterized by deep learning models that are built upon problem-specific inductive biases. An example is a convolutional or a graph neural network that exploits the local grid structure where functions’ values are sampled. The attention mechanism, on the other hand, provides a flexible way to implicitly exploit the patterns within inputs, and furthermore, relationship between arbitrary query locations and inputs. In this work, we present an attention-based framework for data-driven operator learning, which we term Operator Transformer (OFormer). Our framework is built upon self-attention, cross-attention, and a set of point-wise multilayer perceptrons (MLPs), and thus it makes few assumptions on the sampling pattern of the input function or query locations. We show that the proposed framework is competitive on standard benchmark problems and can flexibly be adapted to randomly sampled input.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI