Low-Loss Space in Neural Networks is Continuous and Fully Connected

要約

ニューラルネットワークの損失景観の視覚化は、最小値が分離された点であることを示唆しています。
ただし、理論的および経験的研究の両方は、2つの異なる最小値を低い損失の中間点からなるパスと結びつけることが可能であることを示しています。
この研究では、2つの最小値だけでなく、完全なパラメーター空間の低下パスを調査する新しいアルゴリズムを提案します。
LENET5、RESNET18、およびコンパクトな畳み込みトランスアーキテクチャに関する実験は、パラメーター空間にそのような連続経路の存在を一貫して示しています。
これらの結果は、低損失領域がパラメーター空間内の完全に接続された連続空間であることを示唆しています。
私たちの調査結果は、ニューラルネットワークの過剰パラメーター化に関する理論的洞察を提供し、パラメーターが高次元低下スペースを集合的に定義することを強調しており、パラメーターの冗長性は個々のモデル内にのみ存在し、低損失スペース全体ではないことを意味します。
さらに、私たちの作業は、起源に近い低下スペースを探索することにより、モデルの一般化を改善するための新しい視覚化方法と機会も提供します。

要約(オリジナル)

Visualizations of the loss landscape in neural networks suggest that minima are isolated points. However, both theoretical and empirical studies indicate that it is possible to connect two different minima with a path consisting of intermediate points that also have low loss. In this study, we propose a new algorithm which investigates low-loss paths in the full parameter space, not only between two minima. Our experiments on LeNet5, ResNet18, and Compact Convolutional Transformer architectures consistently demonstrate the existence of such continuous paths in the parameter space. These results suggest that the low-loss region is a fully connected and continuous space in the parameter space. Our findings provide theoretical insight into neural network over-parameterization, highlighting that parameters collectively define a high-dimensional low-loss space, implying parameter redundancy exists only within individual models and not throughout the entire low-loss space. Additionally, our work also provides new visualization methods and opportunities to improve model generalization by exploring the low-loss space that is closer to the origin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google