Physics Informed Token Transformer

要約

偏微分方程式 (PDE) を解くことは、科学および工学の多くの分野の中核です。
従来のアプローチは法外に遅いことが多い一方で、機械学習モデルは完全なシステム情報を組み込むことができないことがよくあります。
過去数年にわたって、変圧器は人工知能の分野に大きな影響を与えており、PDE アプリケーションでの使用が増加しています。
しかし、成功にもかかわらず、トランスフォーマーは現在、物理学や推論との統合が不足しています。
この研究は、PITT (Physics Informed Token Transformer) を導入することでこの問題に対処することを目的としています。
PITT の目的は、学習プロセスに偏微分方程式 (PDE) を組み込むことで物理学の知識を組み込むことです。
PITT は、方程式トークン化手法を使用して、分析主導の数値更新演算子を学習します。
PDE をトークン化し偏導関数を埋め込むことにより、トランスフォーマー モデルは物理プロセスの背後にある基礎的な知識を認識できるようになります。
これを実証するために、PITT は 1D と 2D の両方の予測タスクにおいて、難しい PDE ニューラル演算子でテストされています。
結果は、PITT が一般的なフーリエ ニューラル演算子を上回っており、支配方程式から物理的に関連する情報を抽出する能力があることを示しています。

要約(オリジナル)

Solving Partial Differential Equations (PDEs) is the core of many fields of science and engineering. While classical approaches are often prohibitively slow, machine learning models often fail to incorporate complete system information. Over the past few years, transformers have had a significant impact on the field of Artificial Intelligence and have seen increased usage in PDE applications. However, despite their success, transformers currently lack integration with physics and reasoning. This study aims to address this issue by introducing PITT: Physics Informed Token Transformer. The purpose of PITT is to incorporate the knowledge of physics by embedding partial differential equations (PDEs) into the learning process. PITT uses an equation tokenization method to learn an analytically-driven numerical update operator. By tokenizing PDEs and embedding partial derivatives, the transformer models become aware of the underlying knowledge behind physical processes. To demonstrate this, PITT is tested on challenging PDE neural operators in both 1D and 2D prediction tasks. The results show that PITT outperforms the popular Fourier Neural Operator and has the ability to extract physically relevant information from governing equations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google