Global universal approximation of functional input maps on weighted spaces

要約

我々は、無限次元の可能性のある加重空間で定義され、無限次元の可能性のある出力空間にも値を持つ、いわゆる関数型入力ニューラルネットワークを導入する。この目的のために、加法族を用いて入力加重空間を隠れ層に写像し、その上で非線形スカラー活性化関数を各ニューロンに適用し、最終的にいくつかの線形読み出しによって出力を返す。加重空間に関するStone-Weierstrassの定理に基づき、連続関数に対する加重空間上の大域的な普遍近似結果を証明することができる。これは特に、関数入力ニューラルネットワークによる（非予測）経路空間関数の近似に適用できる。重み付きStone-Weierstrass定理のさらなる応用として、署名の線形関数に対する大域的な普遍近似結果を証明する。また、この設定におけるガウス過程回帰の視点を導入し、シグネチャカーネルの再現カーネルヒルベルト空間があるガウス過程のカメロン・マーティン空間であることを強調する。これにより、シグネチャカーネル回帰の不確実性定量化への道が開かれる。

要約(オリジナル)

We introduce so-called functional input neural networks defined on a possibly infinite dimensional weighted space with values also in a possibly infinite dimensional output space. To this end, we use an additive family to map the input weighted space to the hidden layer, on which a non-linear scalar activation function is applied to each neuron, and finally return the output via some linear readouts. Relying on Stone-Weierstrass theorems on weighted spaces, we can prove a global universal approximation result on weighted spaces for continuous functions going beyond the usual approximation on compact sets. This then applies in particular to approximation of (non-anticipative) path space functionals via functional input neural networks. As a further application of the weighted Stone-Weierstrass theorem we prove a global universal approximation result for linear functions of the signature. We also introduce the viewpoint of Gaussian process regression in this setting and emphasize that the reproducing kernel Hilbert space of the signature kernels are Cameron-Martin spaces of certain Gaussian processes. This paves a way towards uncertainty quantification for signature kernel regression.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL