Scaling Optimal LR Across Token Horizons

要約

最先端の LLM は、モデル サイズ、データセット サイズ、クラスター サイズのスケーリングによって強化されています。
大規模な実行のためにハイパーパラメータを広範囲に調整することは経済的に不可能です。
代わりに、ほぼ最適なハイパーパラメータを小規模な実験から推測するか \textit{transferred} する必要があります。
モデル サイズ間のハイパーパラメータの転送は、Yang et al. で研究されています。
ただし、データセット サイズ (つまりトークン ホライズン) を超えたハイパーパラメーターの転送はまだ研究されていません。
これを解決するために、LLM トレーニングにおける最適学習率 (LR) がトークン ホライズンにどのように依存するかについて大規模な実証研究を実施しました。
まず、最適な LR がトークン ホライズンに応じて大幅に変化することを示します。トレーニングが長くなるにつれて、必要な LR は小さくなります。
次に、最適な LR がスケーリング則に従い、より長い期間の最適な LR がそのようなスケーリング則を介して短い期間から正確に推定できることを示します。
また、現在の慣行よりもオーバーヘッドがゼロで、トークン ホライズンを越えて LR を転送するための経験則も提供します。
最後に、LLama-1 が使用した LR が高すぎるという証拠を示し、そこからパフォーマンスへの影響を推定します。
したがって、データサイズを超えたハイパーパラメータ転送は、LLM トレーニングの重要なコンポーネントであるにもかかわらず見落とされていると主張します。

要約(オリジナル)

State-of-the-art LLMs are powered by scaling — scaling model size, dataset size and cluster size. It is economically infeasible to extensively tune hyperparameter for the largest runs. Instead, approximately optimal hyperparameters must be inferred or \textit{transferred} from smaller experiments. Hyperparameter transfer across model sizes has been studied in Yang et al. However, hyperparameter transfer across dataset size — or token horizon — has not been studied yet. To remedy this we conduct a large scale empirical study on how optimal learning rate (LR) depends on token horizon in LLM training. We first demonstrate that the optimal LR changes significantly with token horizon — longer training necessitates smaller LR. Secondly we demonstrate the the optimal LR follows a scaling law, and that the optimal LR for longer horizons can be accurately estimated from shorter horizons via such scaling laws. We also provide a rule-of-thumb for transferring LR across token horizons with zero overhead over current practices. Lastly we provide evidence that LLama-1 used too high LR, and estimate the performance hit from this. We thus argue that hyperparameter transfer across data size is an important and overlooked component of LLM training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google