Neural networks in non-metric spaces

要約

arXiv:2109.13512v4 で提案した無限次元ニューラル ネットワーク アーキテクチャを活用し、エチェ空間からの入力を処理でき、そこに示されている普遍近似特性を使用して、いくつかの普遍近似定理を証明することで、このアーキテクチャの範囲を大幅に拡張します。
膨大なクラスの入出力スペースに対応します。
より正確には、入力空間 $\mathfrak X$ は、穏やかな条件 (‘準ポーランド語’) のみを満たす一般的な位相空間にすることができ、出力空間は、別の準ポーランド語空間 $\mathfrak Y$ または
位相ベクトル空間 $E$。
arXiv:2109.13512v4 と同様に、ニューラル ネットワーク アーキテクチャが望ましい精度で「有限次元」部分空間に投影できることをさらに示します。これにより、実装が容易で高速な計算とフィッティングを可能にする近似ネットワークが得られます。
したがって、結果として得られるニューラル ネットワーク アーキテクチャは、機能データに基づく予測タスクに適用できます。
私たちの知る限り、これはこれほど広範な入出力空間を扱い、同時にその後のアーキテクチャの数値的実現可能性を保証する最初の結果です。
最後に、無限次元空間 $\mathfrak X$ 上に近似アーキテクチャを構築することを目的とする場合、準ポーランド空間のカテゴリがある意味で扱うのに正しいカテゴリであることを示す障害結果を証明します。
$\mathfrak X$ の連続関数を近似するのに十分な表現力を持ち、有限数のパラメータのみで指定され、これらのパラメータに関して「安定」しています。

要約(オリジナル)

Leveraging the infinite dimensional neural network architecture we proposed in arXiv:2109.13512v4 and which can process inputs from Fr\’echet spaces, and using the universal approximation property shown therein, we now largely extend the scope of this architecture by proving several universal approximation theorems for a vast class of input and output spaces. More precisely, the input space $\mathfrak X$ is allowed to be a general topological space satisfying only a mild condition (‘quasi-Polish’), and the output space can be either another quasi-Polish space $\mathfrak Y$ or a topological vector space $E$. Similarly to arXiv:2109.13512v4, we show furthermore that our neural network architectures can be projected down to ‘finite dimensional’ subspaces with any desirable accuracy, thus obtaining approximating networks that are easy to implement and allow for fast computation and fitting. The resulting neural network architecture is therefore applicable for prediction tasks based on functional data. To the best of our knowledge, this is the first result which deals with such a wide class of input/output spaces and simultaneously guarantees the numerical feasibility of the ensuing architectures. Finally, we prove an obstruction result which indicates that the category of quasi-Polish spaces is in a certain sense the correct category to work with if one aims at constructing approximating architectures on infinite-dimensional spaces $\mathfrak X$ which, at the same time, have sufficient expressive power to approximate continuous functions on $\mathfrak X$, are specified by a finite number of parameters only and are ‘stable’ with respect to these parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google