Universal Functional Regression with Neural Operator Flows

要約

関数空間上の回帰は、一般的にガウス過程事前分布を持つモデルに限定される。我々は普遍的関数回帰の概念を導入し、関数回帰において数学的に扱いやすいまま、非ガウス関数空間上の事前分布を学習することを目指す。このために、正規化フローを無限次元に拡張したニューラル・オペレータ・フロー（OpFlow）を開発する。OpFlowは（潜在的に未知の）データ関数空間をガウス過程に写像する可逆演算子であり、関数点評価の厳密な尤度推定を可能にする。OpFlowは、ガウス過程の事後サンプルの描画と、その後のデータ関数空間へのマッピングにより、ロバストで正確な不確実性の定量化を可能にする。OpFlowの性能を、事後形式が既知のガウス過程と非ガウス過程から生成されたデータ、および未知の閉形式分布を持つ実世界の地震の地震計を用いて、回帰タスクと生成タスクで実証的に研究する。

要約(オリジナル)

Regression on function spaces is typically limited to models with Gaussian process priors. We introduce the notion of universal functional regression, in which we aim to learn a prior distribution over non-Gaussian function spaces that remains mathematically tractable for functional regression. To do this, we develop Neural Operator Flows (OpFlow), an infinite-dimensional extension of normalizing flows. OpFlow is an invertible operator that maps the (potentially unknown) data function space into a Gaussian process, allowing for exact likelihood estimation of functional point evaluations. OpFlow enables robust and accurate uncertainty quantification via drawing posterior samples of the Gaussian process and subsequently mapping them into the data function space. We empirically study the performance of OpFlow on regression and generation tasks with data generated from Gaussian processes with known posterior forms and non-Gaussian processes, as well as real-world earthquake seismograms with an unknown closed-form distribution.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL