Going Beyond Linear Mode Connectivity: The Layerwise Linear Feature Connectivity

要約

最近の研究では、損失の状況とトレーニングのダイナミクスが十分に理解されておらず、非常に複雑であるにもかかわらず、ニューラル ネットワークのトレーニングにおける多くの興味深い経験的現象が明らかになりました。
これらの現象の 1 つである線形モード接続 (LMC) は、ほぼ一定のトレーニングおよびテスト損失を維持しながら、パラメーター空間内の線形パスによってさまざまなソリューションを接続できるという興味深い観察により、かなりの注目を集めています。
この研究では、線形接続のより強力な概念である Layerwise Linear Feature Connectivity (LLFC) を導入します。これは、異なる学習済みネットワーク内のすべての層の特徴マップも線形に接続されているというものです。
私たちは、幅広い設定にわたる LLFC の包括的な経験的証拠を提供し、2 つの学習済みネットワークが (スポーン法または順列法のいずれかによって) LMC を満たすたびに、ほぼすべての層で LLFC も満たすことを実証します。
さらに、LLFC に寄与する根本的な要因をさらに深く掘り下げ、スポーンと順列のアプローチについての新たな洞察を明らかにします。
LLFC の研究は、特徴学習の観点を採用することで、LMC の理解を超え、理解を深めます。

要約(オリジナル)

Recent work has revealed many intriguing empirical phenomena in neural network training, despite the poorly understood and highly complex loss landscapes and training dynamics. One of these phenomena, Linear Mode Connectivity (LMC), has gained considerable attention due to the intriguing observation that different solutions can be connected by a linear path in the parameter space while maintaining near-constant training and test losses. In this work, we introduce a stronger notion of linear connectivity, Layerwise Linear Feature Connectivity (LLFC), which says that the feature maps of every layer in different trained networks are also linearly connected. We provide comprehensive empirical evidence for LLFC across a wide range of settings, demonstrating that whenever two trained networks satisfy LMC (via either spawning or permutation methods), they also satisfy LLFC in nearly all the layers. Furthermore, we delve deeper into the underlying factors contributing to LLFC, which reveal new insights into the spawning and permutation approaches. The study of LLFC transcends and advances our understanding of LMC by adopting a feature-learning perspective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google