The star-shaped space of solutions of the spherical negative perceptron

要約

ニューラル ネットワークの状況に関する実証研究では、低エネルギー構成は複雑な接続構造でよく見られ、遠く離れた解のペア間にゼロエネルギー パスを構築できることが示されています。
ここでは、連続制約充足問題として構成された典型的な非凸ニューラル ネットワーク モデルである球面ネガティブ パーセプトロンについて考察します。
平衡状態からサンプリングされた頂点構成を使用して単体のエネルギー障壁を計算するための一般的な解析方法を紹介します。
過剰にパラメータ化された領域では、解多様体が単純な接続特性を示すことがわかります。
広範囲の最適化ダイナミクスにとって魅力的な、大きな測地凸コンポーネントが存在します。
この領域内で、他のほとんどの解と測地的に接続され、星型のジオメトリを生じさせる、非典型的な高マージン解のサブセットが特定されます。
我々は、解の接続空間の構成を分析的に特徴付け、より大きな拘束密度で、前述の単純な測地線接続が崩れる遷移の数値的証拠を示します。

要約(オリジナル)

Empirical studies on the landscape of neural networks have shown that low-energy configurations are often found in complex connected structures, where zero-energy paths between pairs of distant solutions can be constructed. Here we consider the spherical negative perceptron, a prototypical non-convex neural network model framed as a continuous constraint satisfaction problem. We introduce a general analytical method for computing energy barriers in the simplex with vertex configurations sampled from the equilibrium. We find that in the over-parameterized regime the solution manifold displays simple connectivity properties. There exists a large geodesically convex component that is attractive for a wide range of optimization dynamics. Inside this region we identify a subset of atypical high-margin solutions that are geodesically connected with most other solutions, giving rise to a star-shaped geometry. We analytically characterize the organization of the connected space of solutions and show numerical evidence of a transition, at larger constraint densities, where the aforementioned simple geodesic connectivity breaks down.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google