Function Space and Critical Points of Linear Convolutional Networks

要約

私たちは、1次元畳み込み層を備えた線形ネットワークの幾何学を研究します。
これらのネットワークの関数空間は、スパース因数分解を許容する多項式の半代数族で識別できます。
関数空間の次元、境界、特異点に対するネットワークのアーキテクチャの影響を分析します。
また、ネットワークのパラメータ化マップの重要なポイントについても説明します。
さらに、二乗誤差損失を伴うネットワークのトレーニングの最適化問題を研究します。
すべてのストライドが 1 より大きく、汎用データであるアーキテクチャの場合、その最適化問題の非ゼロ臨界点は関数空間の滑らかな内部点であることを証明します。
このプロパティは、高密度線形ネットワークおよびストライド 1 の線形畳み込みネットワークでは false であることが知られています。

要約(オリジナル)

We study the geometry of linear networks with one-dimensional convolutional layers. The function spaces of these networks can be identified with semi-algebraic families of polynomials admitting sparse factorizations. We analyze the impact of the network’s architecture on the function space’s dimension, boundary, and singular points. We also describe the critical points of the network’s parameterization map. Furthermore, we study the optimization problem of training a network with the squared error loss. We prove that for architectures where all strides are larger than one and generic data, the non-zero critical points of that optimization problem are smooth interior points of the function space. This property is known to be false for dense linear networks and linear convolutional networks with stride one.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google