Time Transfer: On Optimal Learning Rate and Batch Size In The Infinite Data Limit

要約

大規模言語モデル (LLM) の最適なスケーリングにおける主な課題の 1 つは、ハイパーパラメーターの調整、特に学習率 $\eta$ とバッチ サイズ $B$ に法外なコストがかかることです。
$\mu$P (Yang et al., 2022) のような手法は、無限のモデル サイズ制限における最適な $\eta$ 転送のためのスケーリング ルールを提供しますが、無限のデータ サイズ制限における最適なスケーリング動作は不明のままです。
最適な $\eta$ スケーリングが事前トレーニング トークン バジェット $T$、$B$ に複雑に依存していること、およびクリティカル バッチ サイズ $B_\mathrm{crit}$ との関係を初めて観察することで、このギャップを埋めます。
$B_\mathrm{crit} \propto T$ として進化するように測定します。
さらに、最適なバッチ サイズは $B_\mathrm{crit}$ と正の相関があることを示します。学習率が最適に調整された場合でも、バッチ サイズを固定しておくことは時間の経過とともに最適ではなくなります。
驚くべきことに、我々の結果は、観察された最適な $\eta$ と $B$ のダイナミクスが $\mu$P モデルのスケーリングで保存されることを示しており、$B_\mathrm{crit}$ が損失値のみに依存するという従来の見方に疑問を投げかけています。
最適性を補完するために、学習率の変化に対する損失の感度を調べます。感度は $T$ の増加とともに減少し、$\mu$P モデルのスケーリングでは一定のままであることがわかります。
私たちの結果が、最適なデータとモデルのスケーリングを統合した全体像に向けた第一歩となることを願っています。

要約(オリジナル)

One of the main challenges in optimal scaling of large language models (LLMs) is the prohibitive cost of hyperparameter tuning, particularly learning rate $\eta$ and batch size $B$. While techniques like $\mu$P (Yang et al., 2022) provide scaling rules for optimal $\eta$ transfer in the infinite model size limit, the optimal scaling behavior in the infinite data size limit remains unknown. We fill in this gap by observing for the first time an intricate dependence of optimal $\eta$ scaling on the pretraining token budget $T$, $B$ and its relation to the critical batch size $B_\mathrm{crit}$, which we measure to evolve as $B_\mathrm{crit} \propto T$. Furthermore, we show that the optimal batch size is positively correlated with $B_\mathrm{crit}$: keeping it fixed becomes suboptimal over time even if learning rate is scaled optimally. Surprisingly, our results demonstrate that the observed optimal $\eta$ and $B$ dynamics are preserved with $\mu$P model scaling, challenging the conventional view of $B_\mathrm{crit}$ dependence solely on loss value. Complementing optimality, we examine the sensitivity of loss to changes in learning rate, where we find the sensitivity to decrease with increase of $T$ and to remain constant with $\mu$P model scaling. We hope our results make the first step towards a unified picture of the joint optimal data and model scaling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google