Activation thresholds and expressiveness of polynomial neural networks

要約

多項式ニューラル ネットワークはさまざまなアプリケーションに実装されており、理論的な機械学習に有利なフレームワークを提供します。
固定アーキテクチャと活性化度の多項式ニューラル ネットワークは、ネットワークの重みから一連の多項式への代数マップを与えます。
このマップのイメージは、ネットワークで表現できる機能の空間です。
そのザリスキー閉包は、神経多様性として知られるアフィン多様性です。
多項式ニューラル ネットワークの神経多様性の次元は、その表現力の尺度を提供します。
この研究では、神経多様性の次元が理論上の最大値に達する時期を表すネットワーク アーキテクチャの活性化閾値の概念を導入します。
さらに、等幅アーキテクチャを備えた多項式ニューラル ネットワークの表現力の結果を証明します。

要約(オリジナル)

Polynomial neural networks have been implemented in a range of applications and present an advantageous framework for theoretical machine learning. A polynomial neural network of fixed architecture and activation degree gives an algebraic map from the network’s weights to a set of polynomials. The image of this map is the space of functions representable by the network. Its Zariski closure is an affine variety known as a neurovariety. The dimension of a polynomial neural network’s neurovariety provides a measure of its expressivity. In this work, we introduce the notion of the activation threshold of a network architecture which expresses when the dimension of a neurovariety achieves its theoretical maximum. In addition, we prove expressiveness results for polynomial neural networks with equi-width~architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google