On the Benefits of Memory for Modeling Time-Dependent PDEs

要約

データ駆動型の手法は、PDEを解くための従来の数値方法の有望な代替手段として浮上しています。
時間依存のPDEの場合、多くのアプローチはマルコフ語です。訓練されたシステムの進化は、現在の状態にのみ依存し、過去の状態ではありません。
この作業では、時間依存のPDEをモデル化するためにメモリを使用することの利点を調査します。つまり、過去の状態が将来を予測するために明示的に使用される場合です。
モデル削減のモリズワンツィヒ理論に動機付けられて、私たちは理論的には、メモリを使用するソリューションがマルコフのソリューションよりも任意に優れている単純な（線形）PDEの例を示します。
さらに、最近の状態空間モデル（具体的にはS4）とフーリエ神経演算子（FNO）を組み合わせてメモリを効果的にモデル化する神経演算子アーキテクチャであるメモリニューラル演算子（MEMNO）を紹介します。
PDEが低解像度で供給されるか、列車とテスト時間で観測ノイズを含んでいる場合、MEMNOはメモリなしでベースラインを大幅に上回ることを実証します。
さらに、この利点は、PDEソリューションに有意な高周波フーリエモード（たとえば、低粘度流体のダイナミクス）がある場合に特に顕著であることを示し、そのようなPDEで構成される挑戦的なベンチマークデータセットを構築します。

要約(オリジナル)

Data-driven techniques have emerged as a promising alternative to traditional numerical methods for solving PDEs. For time-dependent PDEs, many approaches are Markovian — the evolution of the trained system only depends on the current state, and not the past states. In this work, we investigate the benefits of using memory for modeling time-dependent PDEs: that is, when past states are explicitly used to predict the future. Motivated by the Mori-Zwanzig theory of model reduction, we theoretically exhibit examples of simple (even linear) PDEs, in which a solution that uses memory is arbitrarily better than a Markovian solution. Additionally, we introduce Memory Neural Operator (MemNO), a neural operator architecture that combines recent state space models (specifically, S4) and Fourier Neural Operators (FNOs) to effectively model memory. We empirically demonstrate that when the PDEs are supplied in low resolution or contain observation noise at train and test time, MemNO significantly outperforms the baselines without memory — with up to 6x reduction in test error. Furthermore, we show that this benefit is particularly pronounced when the PDE solutions have significant high-frequency Fourier modes (e.g., low-viscosity fluid dynamics) and we construct a challenging benchmark dataset consisting of such PDEs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google