Function Space and Critical Points of Linear Convolutional Networks

要約

【タイトル】線形畳み込みネットワークの機能空間と臨界点
【要約】
– この論文は、一次元畳み込み層を持つ線形ネットワークの幾何学について研究するもの。
– これらのネットワークの機能空間は、疎な因数分解を許容する半代数的多項式のファミリーに同定できる。
– ネットワークのアーキテクチャが機能空間の次元、境界、特異点に及ぼす影響を分析する。
– パラメータ化マップの臨界点を記述する。
– さらに、二乗誤差損失でネットワークをトレーニングする最適化問題を研究する。すべてのストライドが1より大きく、一般的なデータのアーキテクチャの場合、この最適化問題のゼロでない臨界点は機能空間の滑らかな内点であることを証明する。
– この性質は、密な線形ネットワークやストライドが1の線形畳み込みネットワークでは偽であることが知られている。

要約(オリジナル)

We study the geometry of linear networks with one-dimensional convolutional layers. The function spaces of these networks can be identified with semi-algebraic families of polynomials admitting sparse factorizations. We analyze the impact of the network’s architecture on the function space’s dimension, boundary, and singular points. We also describe the critical points of the network’s parameterization map. Furthermore, we study the optimization problem of training a network with the squared error loss. We prove that for architectures where all strides are larger than one and generic data, the non-zero critical points of that optimization problem are smooth interior points of the function space. This property is known to be false for dense linear networks and linear convolutional networks with stride one.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI