Low-rank bias, weight decay, and model merging in neural networks

要約

グラデーション降下（GD）と勾配流（GF）を使用したトレーニングに由来するニューラルネットワークの重量マトリックスの低ランク構造を調査します。
GDトレーニングを受けた深いニューラルネットワークのいくつかの特性を示します。
特に、GDの固定点の場合、パラメーターと勾配、レイヤー全体の規範保存、および低ランクバイアス：GFソリューションのコンテキストで以前に知られているプロパティのアラインメントを示します。
実験は、分析で行われた仮定が観測に軽度に影響することを示しています。
さらに、$ L2 $の正規化と低ランクバイアスで有効なマルチタスク学習現象を調査します。
特に、2つのネットワークがトレーニングされている場合、1つのネットワークのトレーニングセットの入力が他のネットワークのトレーニングセットの入力にほぼ直交することを示しています。
ネットワークは、それぞれの個々のネットワークと同様に、両方のトレーニングセットでも同様に機能します。
これは、GDが訓練する浅いリリールニューラルネットワークと、GFがトレーニングする深い線形およびディープリアルネットワークについて実証します。

要約(オリジナル)

We explore the low-rank structure of the weight matrices in neural networks originating from training with Gradient Descent (GD) and Gradient Flow (GF) with $L2$ regularization (also known as weight decay). We show several properties of GD-trained deep neural networks, induced by $L2$ regularization. In particular, for a stationary point of GD we show alignment of the parameters and the gradient, norm preservation across layers, and low-rank bias: properties previously known in the context of GF solutions. Experiments show that the assumptions made in the analysis only mildly affect the observations. In addition, we investigate a multitask learning phenomenon enabled by $L2$ regularization and low-rank bias. In particular, we show that if two networks are trained, such that the inputs in the training set of one network are approximately orthogonal to the inputs in the training set of the other network, the new network obtained by simply summing the weights of the two networks will perform as well on both training sets as the respective individual networks. We demonstrate this for shallow ReLU neural networks trained by GD, as well as deep linear and deep ReLU networks trained by GF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google