Operator learning with PCA-Net: upper and lower complexity bounds

要約

【タイトル】PCA-Netによるオペレータ学習：上限と下限の複雑度のバウンド

【要約】PCA-Netは、主成分分析（PCA）とニューラルネットワークを組み合わせて、無限次元の関数空間間のオペレータを近似するニューラルオペレータアーキテクチャである。本研究は、このアプローチの近似理論を開発し、これに関する以前の研究を改善し、重要な拡張を行う。まず、基礎となるオペレータおよびデータ生成分布に対する最小限の仮定の下で、新しい普遍的な近似結果が導出される。そして、PCA-Netによる効率的なオペレータ学習に対する2つの可能性のある障壁が特定され、下限の複雑度バウンドを通じて厳密に定義される。最初の障害は、PCA固有値の遅い減衰によって測定される出力分布の複雑度に関連するものである。もう一つの障害は、無限次元の入力スペースおよび出力スペース間のオペレータ空間の固有の複雑さに関連し、次元の呪いの明確で量的な声明を導く。これらの下限バウンドに加えて、上限の複雑度バウンドも導かれる。適切な滑らかさの基準がPCA固有値の代数的減衰を保証することが示される。さらに、ダルシーフローおよびナビエ・ストークス方程式から生じる特定の興味深いオペレータに関しては、PCA-Netは一般的な次元の呪いを克服できることが示される。

【要点】

– PCA-Netは、PCAとニューラルネットワークを組み合わせて、無限次元の関数空間間のオペレータを近似するニューラルオペレータアーキテクチャである。
– このアプローチの近似理論を開発し、普遍的な近似結果を導出することで寄与する。
– 2つのオペレータ学習の障害が特定され、下限バウンドを通じて厳密に定義される。
– 上限の複雑度バウンドも同様に導かれる。
– 特定のオペレータに関しては、PCA-Netは一般的な次元の呪いを克服できる。

要約(オリジナル)

PCA-Net is a recently proposed neural operator architecture which combines principal component analysis (PCA) with neural networks to approximate operators between infinite-dimensional function spaces. The present work develops approximation theory for this approach, improving and significantly extending previous work in this direction: First, a novel universal approximation result is derived, under minimal assumptions on the underlying operator and the data-generating distribution. Then, two potential obstacles to efficient operator learning with PCA-Net are identified, and made precise through lower complexity bounds; the first relates to the complexity of the output distribution, measured by a slow decay of the PCA eigenvalues. The other obstacle relates to the inherent complexity of the space of operators between infinite-dimensional input and output spaces, resulting in a rigorous and quantifiable statement of the curse of dimensionality. In addition to these lower bounds, upper complexity bounds are derived. A suitable smoothness criterion is shown to ensure an algebraic decay of the PCA eigenvalues. Furthermore, it is shown that PCA-Net can overcome the general curse of dimensionality for specific operators of interest, arising from the Darcy flow and the Navier-Stokes equations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI