On the Geometry and Optimization of Polynomial Convolutional Networks

要約

単項活性化関数を持つ畳み込みニューラルネットワークを研究する。具体的には、そのパラメータ化写像が規則的であり、フィルタを再スケーリングするまでは、ほぼどこでも同型であることを証明する。代数幾何学のツールを活用し、この写像の関数空間における幾何学的性質を探索する。特に、モデルの表現力を測るニューロマニフォールドの次元と次数を計算し、その特異点を記述する。さらに、一般的な大規模データセットについて、回帰損失の最適化で生じる臨界点の数を定量化する明示的な式を導出する。

要約(オリジナル)

We study convolutional neural networks with monomial activation functions. Specifically, we prove that their parameterization map is regular and is an isomorphism almost everywhere, up to rescaling the filters. By leveraging on tools from algebraic geometry, we explore the geometric properties of the image in function space of this map – typically referred to as neuromanifold. In particular, we compute the dimension and the degree of the neuromanifold, which measure the expressivity of the model, and describe its singularities. Moreover, for a generic large dataset, we derive an explicit formula that quantifies the number of critical points arising in the optimization of a regression loss.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL