Solving High-Dimensional PDEs with Latent Spectral Models

要約

ディープ モデルは、偏微分方程式 (PDE) を解く上で目覚ましい進歩を遂げました。
急成長しているパラダイムは、偏微分方程式の入出力マッピングを近似するニューラル演算子を学習することです。
これまでのディープ モデルでは、マルチスケール アーキテクチャとさまざまな演算子の設計が検討されていましたが、座標空間内で演算子全体を学習することに限定されていました。
実際の物理科学の問題では、偏微分方程式は、高次元の座標空間への離散化に依存する数値ソルバーを備えた複雑な連成方程式であり、次元の呪いのため、単一の演算子で正確に近似することも、効率的に学習することもできません。
我々は、高次元偏微分方程式の効率的で正確なソルバーを目指した潜在スペクトル モデル (LSM) を紹介します。
LSM は、座標空間を超えて、アテンションベースの階層投影ネットワークを可能にし、高次元データを線形時間でコンパクトな潜在空間に縮小します。
数値解析における古典的なスペクトル手法にインスピレーションを得て、複数の基底演算子を学習することで複雑な入出力マッピングを近似する潜在空間で偏微分方程式を解くニューラル スペクトル ブロックを設計し、収束と近似に対する優れた理論的保証を享受します。
実験的に、LSM は一貫した最先端を実現し、固体物理と流体物理の両方をカバーする 7 つのベンチマークで平均して 11.5% の相対ゲインを実現しました。
コードは https://github.com/thuml/Latent-Spectral-Models で入手できます。

要約(オリジナル)

Deep models have achieved impressive progress in solving partial differential equations (PDEs). A burgeoning paradigm is learning neural operators to approximate the input-output mappings of PDEs. While previous deep models have explored the multiscale architectures and various operator designs, they are limited to learning the operators as a whole in the coordinate space. In real physical science problems, PDEs are complex coupled equations with numerical solvers relying on discretization into high-dimensional coordinate space, which cannot be precisely approximated by a single operator nor efficiently learned due to the curse of dimensionality. We present Latent Spectral Models (LSM) toward an efficient and precise solver for high-dimensional PDEs. Going beyond the coordinate space, LSM enables an attention-based hierarchical projection network to reduce the high-dimensional data into a compact latent space in linear time. Inspired by classical spectral methods in numerical analysis, we design a neural spectral block to solve PDEs in the latent space that approximates complex input-output mappings via learning multiple basis operators, enjoying nice theoretical guarantees for convergence and approximation. Experimentally, LSM achieves consistent state-of-the-art and yields a relative gain of 11.5% averaged on seven benchmarks covering both solid and fluid physics. Code is available at https://github.com/thuml/Latent-Spectral-Models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google