MLPs at the EOC: Dynamics of Feature Learning

要約

カーネルレジームの無限に広いニューラルネットワークはランダムな特徴モデルであるため、現代の深い学習の成功は豊かな体制にあります。そこでは、満足のいく理論では、勾配降下の収束だけでなく、途中で特徴の学習を説明する必要があります。
このような理論は、安定性（EOS）やカタパルトメカニズムなどの実践者によって観察される現象も対象とする必要があります。
限界における実質的に関連する理論の場合、ニューラルネットワークのパラメーター化は、幅と深さが拡大されるため、制限動作を効率的に再現する必要があります。
幅ワイズスケーリングはほとんど沈殿しますが、深さのスケーリングは、カオスの端（EOC）による初期化時にのみ解決されます。
トレーニング中、スケールアップの深さは、学習率を反比例させるか、残留接続を追加することによって行われます。
$（1）$ $ $が正規化された更新パラメーター化（$ \ nu $ p）を提案して、事前活性化の正規化された進化を誘導する隠されたレイヤーサイズを拡大することによりこの問題を解決することを提案します。
新規および累積パラメーターの更新と$（3）$ $（カタパルトフェーズを無期限に延長できるジオメトリ認識学習率スケジュール）。
私たちは仮説をサポートし、経験的証拠による$ \ nu $ pの有用性と学習率のスケジュールを実証します。

要約(オリジナル)

Since infinitely wide neural networks in the kernel regime are random feature models, the success of contemporary deep learning lies in the rich regime, where a satisfying theory should explain not only the convergence of gradient descent but the learning of features along the way. Such a theory should also cover phenomena observed by practicioners including the Edge of Stability (EOS) and the catapult mechanism. For a practically relevant theory in the limit, neural network parameterizations have to efficiently reproduce limiting behavior as width and depth are scaled up. While widthwise scaling is mostly settled, depthwise scaling is solved only at initialization by the Edge of Chaos (EOC). During training, scaling up depth is either done by inversely scaling the learning rate or adding residual connections. We propose $(1)$ the Normalized Update Parameterization ($\nu$P) to solve this issue by growing hidden layer sizes depthwise inducing the regularized evolution of preactivations, $(2)$ a hypothetical explanation for feature learning via the cosine of new and cumulative parameter updates and $(3)$ a geometry-aware learning rate schedule that is able to prolong the catapult phase indefinitely. We support our hypotheses and demonstrate the usefulness of $\nu$P and the learning rate schedule by empirical evidence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google