Can neural operators always be continuously discretized?

要約

スキップ接続を含む一般的な枠組みでヒルベルト空間間のニューラル演算子の離散化の問題を考察します。
私たちは、無限次元の微分同相写像のレンズを通して、全単射ニューラル演算子に焦点を当てます。
圏論を使用して構成すると、ヒルベルト空間またはヒルベルト多様体間の微分同相写像は、たとえ近似が非線形であっても、有限次元空間上の微分同相写像による連続近似が認められない可能性があることを示すダメ定理を与えます。
自然な解決策は、強単調微分同相写像と、有限次元空間上で強単調微分同相写像による連続近似を行う層ごとの強単調ニューラル演算子の導入です。
これらの場合、有限次元近似が関数のシーケンスとして収束するだけでなく、それらの表現も適切な意味で収束することを保証しながら、離散化の不変性を保証できます。
最後に、ビリプシッツ ニューラル演算子は常に、単調なニューラル演算子の交互構成と単純なアイソメトリの形式で記述できることを示します。
したがって、ニューラル演算子の一般化を離散化するための厳密なプラットフォームを実現します。
また、このタイプのニューラル演算子は、各ブロックが単調性が高く、反復によって局所的に反転される有限ランク残差ニューラル演算子の合成を通じて近似できることも示します。
最後に、一般的なビリプシッツ ニューラル オペレーターの離散化の定量的近似結果を提供します。

要約(オリジナル)

We consider the problem of discretization of neural operators between Hilbert spaces in a general framework including skip connections. We focus on bijective neural operators through the lens of diffeomorphisms in infinite dimensions. Framed using category theory, we give a no-go theorem that shows that diffeomorphisms between Hilbert spaces or Hilbert manifolds may not admit any continuous approximations by diffeomorphisms on finite-dimensional spaces, even if the approximations are nonlinear. The natural way out is the introduction of strongly monotone diffeomorphisms and layerwise strongly monotone neural operators which have continuous approximations by strongly monotone diffeomorphisms on finite-dimensional spaces. For these, one can guarantee discretization invariance, while ensuring that finite-dimensional approximations converge not only as sequences of functions, but that their representations converge in a suitable sense as well. Finally, we show that bilipschitz neural operators may always be written in the form of an alternating composition of strongly monotone neural operators, plus a simple isometry. Thus we realize a rigorous platform for discretization of a generalization of a neural operator. We also show that neural operators of this type may be approximated through the composition of finite-rank residual neural operators, where each block is strongly monotone, and may be inverted locally via iteration. We conclude by providing a quantitative approximation result for the discretization of general bilipschitz neural operators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google