Principled Approaches for Extending Neural Architectures to Function Spaces for Operator Learning

要約

連続時間動的システムと部分微分方程式（PDE）によって記述されているような幅広い科学的問題は、関数空間に自然に配合されています。
機能空間は通常無限の次元ですが、深い学習は、有限の次元空間間のマッピングに焦点を当てたコンピュータービジョンと自然言語処理のアプリケーションを通じて主に進歩しています。
データの性質におけるこのような根本的な格差は、他の分野で見られるように、科学的応用で同等のレベルの成功を達成することから、ニューラルネットワークを制限しています。
ニューラル演算子は、ニューラルネットワークを機能空間間のマッピングに一般化する原則的な方法であり、科学的問題に対する深い学習の変革的影響を再現するための経路を提供します。
たとえば、神経演算子は、PDEのクラス全体のソリューション演算子、たとえば、境界条件、係数関数、ジオメトリを持つ物理システムについて学習できます。
Deep Learningの成功の重要な要素は、広範な経験的テストを通じて神経アーキテクチャの慎重な工学です。
これらの神経アーキテクチャを神経演算子に翻訳すると、オペレーターがこれらの同じ経験的最適化を享受できるようになります。
ただし、以前のニューラル演算子アーキテクチャは、既存のニューラルネットワークアーキテクチャの拡張として直接導出されていないスタンドアロンモデルとして導入されることがよくあります。
この論文では、無限の次元関数空間間のマッピングの実用的な実装を構築するための重要な原則を特定し、蒸留します。
これらの原則を使用して、最小限の変更でいくつかの一般的なニューラルアーキテクチャを神経演算子に変換するためのレシピを提案します。
このペーパーは、このプロセスを通じて開業医を導くことを目的としており、神経オペレーターを実際に機能させるための手順を詳述しています。
私たちのコードは、https：//github.com/neuraloperator/nns-to-nosで見つけることができます

要約(オリジナル)

A wide range of scientific problems, such as those described by continuous-time dynamical systems and partial differential equations (PDEs), are naturally formulated on function spaces. While function spaces are typically infinite-dimensional, deep learning has predominantly advanced through applications in computer vision and natural language processing that focus on mappings between finite-dimensional spaces. Such fundamental disparities in the nature of the data have limited neural networks from achieving a comparable level of success in scientific applications as seen in other fields. Neural operators are a principled way to generalize neural networks to mappings between function spaces, offering a pathway to replicate deep learning’s transformative impact on scientific problems. For instance, neural operators can learn solution operators for entire classes of PDEs, e.g., physical systems with different boundary conditions, coefficient functions, and geometries. A key factor in deep learning’s success has been the careful engineering of neural architectures through extensive empirical testing. Translating these neural architectures into neural operators allows operator learning to enjoy these same empirical optimizations. However, prior neural operator architectures have often been introduced as standalone models, not directly derived as extensions of existing neural network architectures. In this paper, we identify and distill the key principles for constructing practical implementations of mappings between infinite-dimensional function spaces. Using these principles, we propose a recipe for converting several popular neural architectures into neural operators with minimal modifications. This paper aims to guide practitioners through this process and details the steps to make neural operators work in practice. Our code can be found at https://github.com/neuraloperator/NNs-to-NOs

arxiv情報

提供元, 利用サービス

arxiv.jp, Google