Understanding Mode Connectivity via Parameter Space Symmetry

要約

ニューラルネットワークの最小値は、列車とテストの損失がほぼ一定のままである曲線によって接続されていることがよくあり、モード接続として知られる現象です。
このプロパティでは、モデルのマージや微調整などのアプリケーションが有効になっていますが、その理論的説明は不明のままです。
パラメーター空間対称性を使用して、最小値のつながりを調査するための新しいアプローチを提案します。
対称グループのトポロジーを最小値のトポロジーにリンクすることにより、線形ネットワークの最小値の接続コンポーネントの数を導き出し、スキップ接続がこの数を減らすことを示します。
次に、最小値のかなりの部分を説明するパラメーター対称性を使用して、モード接続と線形モードの接続性を保持または故障させる時期を調べます。
最後に、対称性によって誘導される最小値で曲線を接続するための明示的な式を提供します。
これらの曲線の曲率を使用して、線形モードの接続性がほぼ保持される条件を導き出します。
私たちの調査結果は、ニューラルネットワーク損失の状況を理解する上での連続対称性の役割を強調しています。

要約(オリジナル)

Neural network minima are often connected by curves along which train and test loss remain nearly constant, a phenomenon known as mode connectivity. While this property has enabled applications such as model merging and fine-tuning, its theoretical explanation remains unclear. We propose a new approach to exploring the connectedness of minima using parameter space symmetry. By linking the topology of symmetry groups to that of the minima, we derive the number of connected components of the minima of linear networks and show that skip connections reduce this number. We then examine when mode connectivity and linear mode connectivity hold or fail, using parameter symmetries which account for a significant part of the minimum. Finally, we provide explicit expressions for connecting curves in the minima induced by symmetry. Using the curvature of these curves, we derive conditions under which linear mode connectivity approximately holds. Our findings highlight the role of continuous symmetries in understanding the neural network loss landscape.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google