Geometry and Local Recovery of Global Minima of Two-layer Neural Networks at Overparameterization

要約

軽度の仮定の下で、グローバルミニマイの近くにある2層ニューラルネットワークの損失状況のジオメトリを調査します。
新しいテクニックを利用して、次のことを示します。（i）サンプルサイズが増えるにつれて、一般化エラーがゼロの一般化エラーが他のグローバルミニマから幾何学的に分離される方法。
（ii）ローカル収束特性と勾配フローダイナミクスの速度。
我々の結果は、2層ニューラルネットワークがオーバーパラメーター化のレジームで局所的に回復できることを示しています。

要約(オリジナル)

Under mild assumptions, we investigate the geometry of the loss landscape for two-layer neural networks in the vicinity of global minima. Utilizing novel techniques, we demonstrate: (i) how global minima with zero generalization error become geometrically separated from other global minima as the sample size grows; and (ii) the local convergence properties and rate of gradient flow dynamics. Our results indicate that two-layer neural networks can be locally recovered in the regime of overparameterization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google