A Dynamical Model of Neural Scaling Laws

要約

さまざまなタスクにおいて、ニューラル ネットワークのパフォーマンスは、トレーニング時間、データセット サイズ、モデル サイズの増加に伴い、予想通り何桁も向上します。
この現象はニューラル スケーリング則として知られています。
基本的に重要なのは、モデル サイズを最適に選択する際のコンピューティング単位の関数としてパフォーマンスを報告するコンピューティング最適化スケーリング則です。
ネットワークのトレーニングと汎化の可解決モデルとして、勾配降下法でトレーニングされたランダム特徴モデルを分析します。
これは、ニューラル スケーリングの法則に関する多くの観察を再現します。
まず、私たちのモデルは、トレーニング時間とモデル サイズによるパフォーマンスのスケーリングのべき乗則指数が異なる理由を予測します。
その結果、この理論は、最近の経験的観察と一致して、トレーニング ステップの数がモデル パラメーターよりも速く増加する非対称の計算最適化スケーリング ルールを予測します。
第二に、トレーニングの初期段階では、ネットワークは $1/\textit{width}$ のレートで無限幅のダイナミクスに収束しますが、後半には $\textit{width}^{-c}$ のレートを示すことが観察されています。
ここで、$c$ はアーキテクチャとタスクの構造によって異なります。
私たちのモデルがこの動作を示すことを示します。
最後に、私たちの理論は、データの繰り返しの再利用により、トレーニングとテストの損失の間のギャップが時間の経過とともにどのように徐々に蓄積するかを示しています。

要約(オリジナル)

On a variety of tasks, the performance of neural networks predictably improves with training time, dataset size and model size across many orders of magnitude. This phenomenon is known as a neural scaling law. Of fundamental importance is the compute-optimal scaling law, which reports the performance as a function of units of compute when choosing model sizes optimally. We analyze a random feature model trained with gradient descent as a solvable model of network training and generalization. This reproduces many observations about neural scaling laws. First, our model makes a prediction about why the scaling of performance with training time and with model size have different power law exponents. Consequently, the theory predicts an asymmetric compute-optimal scaling rule where the number of training steps are increased faster than model parameters, consistent with recent empirical observations. Second, it has been observed that early in training, networks converge to their infinite-width dynamics at a rate $1/\textit{width}$ but at late time exhibit a rate $\textit{width}^{-c}$, where $c$ depends on the structure of the architecture and task. We show that our model exhibits this behavior. Lastly, our theory shows how the gap between training and test loss can gradually build up over time due to repeated reuse of data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google