Universal Approximation Theorem for Vector- and Hypercomplex-Valued Neural Networks

要約

普遍近似定理は、1 つの隠れ層を持つニューラル ネットワークは、任意の精度でコンパクトなセット上の連続関数を近似できると述べています。
この定理は、回帰タスクや分類タスクなど、さまざまなアプリケーションでのニューラル ネットワークの使用をサポートします。
さらに、実数値ニューラル ネットワークと、複素数、四元数、テッサリン、クリフォード値のニューラル ネットワークなどの一部の超複素数値のニューラル ネットワークにも有効です。
ただし、超複素数値ニューラル ネットワークは、追加の代数または幾何学的特性を備えた代数上で定義されたベクトル値ニューラル ネットワークの一種です。
この論文では、特定のインスタンスとして超複素数値モデルを含む、広範囲のベクトル値ニューラル ネットワークに対する普遍近似定理を拡張します。
正確には、非縮退代数の概念を導入し、そのような代数で定義されるニューラル ネットワークの普遍近似定理を述べま​​す。

要約(オリジナル)

The universal approximation theorem states that a neural network with one hidden layer can approximate continuous functions on compact sets with any desired precision. This theorem supports using neural networks for various applications, including regression and classification tasks. Furthermore, it is valid for real-valued neural networks and some hypercomplex-valued neural networks such as complex-, quaternion-, tessarine-, and Clifford-valued neural networks. However, hypercomplex-valued neural networks are a type of vector-valued neural network defined on an algebra with additional algebraic or geometric properties. This paper extends the universal approximation theorem for a wide range of vector-valued neural networks, including hypercomplex-valued models as particular instances. Precisely, we introduce the concept of non-degenerate algebra and state the universal approximation theorem for neural networks defined on such algebras.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google