U-NO: U-shaped Neural Operators

要約

タイトル：U-NO: U-shaped Neural Operators

要約：

– ニューラルオペレータは、関数空間などの無限次元の空間間のマップに対応することができ、従来のニューラルネットワークを拡張したものである。
– これまでのニューラルオペレータの研究では、これらのマップを学習するための新しい手法が提案され、偏微分方程式の解演算子を学習することにおいて前例のない成功を収めている。
– しかし、これらのモデルは完全接続アーキテクチャに非常に近く、高いメモリ使用率と浅いディープラーニングモデルに制限されるという課題がある。
– 本論文では、より深いニューラルオペレータを可能にするU-NO (U-shaped Neural Operator)というU字型のメモリ強化アーキテクチャを提案する。
– U-NOは、関数予測の問題構造を活用し、高速なトレーニング、データ効率、およびハイパーパラメータ選択に対する堅牢性を示す。
– Darcyの流出法とナビエ・ストークス方程式というPDEベンチマークで、U-NOのパフォーマンスを調査した。
– 結果、Darcyの流出法では平均26％、タービュレントナビエ・ストークス方程式では平均44％の予測改善を実現し、Navier-Stokes 3D空間時間演算子学習タスクでも、従来の手法より37％の改善を示した。

要約(オリジナル)

Neural operators generalize classical neural networks to maps between infinite-dimensional spaces, e.g., function spaces. Prior works on neural operators proposed a series of novel methods to learn such maps and demonstrated unprecedented success in learning solution operators of partial differential equations. Due to their close proximity to fully connected architectures, these models mainly suffer from high memory usage and are generally limited to shallow deep learning models. In this paper, we propose U-shaped Neural Operator (U-NO), a U-shaped memory enhanced architecture that allows for deeper neural operators. U-NOs exploit the problem structures in function predictions and demonstrate fast training, data efficiency, and robustness with respect to hyperparameters choices. We study the performance of U-NO on PDE benchmarks, namely, Darcy’s flow law and the Navier-Stokes equations. We show that U-NO results in an average of 26% and 44% prediction improvement on Darcy’s flow and turbulent Navier-Stokes equations, respectively, over the state of the art. On Navier-Stokes 3D spatiotemporal operator learning task, we show U-NO provides 37% improvement over the state of art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI