Neural Spectral Methods: Self-supervised learning in the spectral domain

要約

古典的なスペクトル法に基づいたパラメトリック偏微分方程式 (PDE) を解く手法であるニューラル スペクトル法を紹介します。
私たちの方法では、直交基底を使用して PDE 解をスペクトル係数間のマッピングとして学習します。
時空間領域における残差の数値求積を最小化することによって PDE 制約を強制する現在の機械学習アプローチとは対照的に、パーシヴァルの恒等式を活用し、 \textit{スペクトル損失} による新しいトレーニング戦略を導入します。
スペクトル損失により、ニューラル ネットワークによるより効率的な微分が可能になり、トレーニングの複雑さが大幅に軽減されます。
推論時には、ドメインの時空間解像度に関係なく、この方法の計算コストは​​一定のままです。
私たちの実験結果は、私たちの方法が、複数の異なる問題に対して、速度と精度の点で以前の機械学習アプローチよりも 1 ～ 2 桁大幅に優れていることを示しています。
同じ精度の数値ソルバーと比較した場合、私たちの方法はパフォーマンス速度が $10\times$ 向上することを示しています。

要約(オリジナル)

We present Neural Spectral Methods, a technique to solve parametric Partial Differential Equations (PDEs), grounded in classical spectral methods. Our method uses orthogonal bases to learn PDE solutions as mappings between spectral coefficients. In contrast to current machine learning approaches which enforce PDE constraints by minimizing the numerical quadrature of the residuals in the spatiotemporal domain, we leverage Parseval’s identity and introduce a new training strategy through a \textit{spectral loss}. Our spectral loss enables more efficient differentiation through the neural network, and substantially reduces training complexity. At inference time, the computational cost of our method remains constant, regardless of the spatiotemporal resolution of the domain. Our experimental results demonstrate that our method significantly outperforms previous machine learning approaches in terms of speed and accuracy by one to two orders of magnitude on multiple different problems. When compared to numerical solvers of the same accuracy, our method demonstrates a $10\times$ increase in performance speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google