Linearization Turns Neural Operators into Function-Valued Gaussian Processes

要約

動的システムのモデリング、例:
気候科学や工学科学では、偏微分方程式を解くことが必要になることがよくあります。
ニューラル演算子は、このような微分方程式の非自明な解演算子をデータから学習するように設計されたディープ ニューラル ネットワークです。
すべての統計モデルと同様に、これらのモデルの予測は不完全であり、誤差が生じます。
このようなエラーは、動的システムの複雑な非線形挙動では特に発見が困難です。
関数値ガウス過程を使用したニューラル演算子における近似ベイジアン不確実性定量化のための新しいフレームワークを紹介します。
私たちのアプローチは、関数型プログラミングからのカリー化の概念の確率論的な類似物として解釈でき、線形化されたラプラス近似をニューラル演算子に適用する実用的かつ理論的に健全な方法を提供します。
フーリエ ニューラル演算子のケース スタディでは、たとえ離散化された入力であっても、私たちの方法がガウス閉包、つまりニューラル演算子の出力関数の不確実性を事後的に捉える構造化ガウス過程であり、次の条件で評価できることを示します。
任意の点の集合。
この方法は、予測オーバーヘッドを最小限に抑え、ニューラル オペレーターを再トレーニングすることなく事後的に適用でき、大規模なモデルやデータセットに拡張できます。
さまざまなタイプの偏微分方程式への適用を通じて、私たちのアプローチの有効性を示します。

要約(オリジナル)

Modeling dynamical systems, e.g. in climate and engineering sciences, often necessitates solving partial differential equations. Neural operators are deep neural networks designed to learn nontrivial solution operators of such differential equations from data. As for all statistical models, the predictions of these models are imperfect and exhibit errors. Such errors are particularly difficult to spot in the complex nonlinear behaviour of dynamical systems. We introduce a new framework for approximate Bayesian uncertainty quantification in neural operators using function-valued Gaussian processes. Our approach can be interpreted as a probabilistic analogue of the concept of currying from functional programming and provides a practical yet theoretically sound way to apply the linearized Laplace approximation to neural operators. In a case study on Fourier neural operators, we show that, even for a discretized input, our method yields a Gaussian closure–a structured Gaussian process posterior capturing the uncertainty in the output function of the neural operator, which can be evaluated at an arbitrary set of points. The method adds minimal prediction overhead, can be applied post-hoc without retraining the neural operator, and scales to large models and datasets. We showcase the efficacy of our approach through applications to different types of partial differential equations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google