Geometry of Polynomial Neural Networks

要約

私たちは、単項活性化関数を備えた多項式ニューラル ネットワーク (PNN) の表現力と学習プロセスを研究します。
ネットワークの重みは神経多様体をパラメータ化します。
この論文では、代数幾何学のツールを使用して特定の神経多様体を研究します。半代数集合として明示的な記述を与え、神経多様体と呼ばれるそれらのザリスキ閉包を特徴付けます。
私たちはそれらの次元を研究し、代数学位、学習学位を神経多様性に関連付けます。
次元はネットワークの表現力の幾何学的尺度として機能し、学習度はネットワークのトレーニングの複雑さの尺度となり、学習可能な関数の数の上限を提供します。
これらの理論的結果には実験が伴います。

要約(オリジナル)

We study the expressivity and learning process for polynomial neural networks (PNNs) with monomial activation functions. The weights of the network parametrize the neuromanifold. In this paper, we study certain neuromanifolds using tools from algebraic geometry: we give explicit descriptions as semialgebraic sets and characterize their Zariski closures, called neurovarieties. We study their dimension and associate an algebraic degree, the learning degree, to the neurovariety. The dimension serves as a geometric measure for the expressivity of the network, the learning degree is a measure for the complexity of training the network and provides upper bounds on the number of learnable functions. These theoretical results are accompanied with experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google