Unraveling the Mystery of Scaling Laws: Part I

要約

スケーリング則の原則は、損失と、モデル サイズ、データセット サイズ、トレーニング中に使用される計算リソースなどの変数との間のべき乗則の相関関係を示します。
これらの原則は、モデルの事前トレーニングのさまざまな側面を最適化する上で重要な役割を果たし、最終的には GPT-4、Llama、Gemini などの大規模な言語モデルの成功に貢献します。
ただし、OpenAI による元のスケーリング則の論文では、正確なスケーリング則の式を導き出すために必要な完全な詳細は開示されておらず、その結論は最大 15 億個のパラメータを含むモデルにのみ基づいています。
その後の研究の中には、これらの詳細を明らかにし、より大きなモデルに拡張しようとするものもありますが、多くの場合、学習率、コンテキストの長さ、バッチ サイズなどの重要な要素のトレーニング依存性が無視され、テスト損失を予測するための信頼できる式を確立できません。
軌跡。
この技術レポートでは、元の OpenAI 論文で提案されたスケーリング則の定式化が、モデル サイズを 330 億までスケールする場合にも引き続き有効であることを確認していますが、これらの式の定数係数は実験設定によって大きく異なります。
影響を与える要因を注意深く特定し、100 万～6,000 万のパラメーターのみを備えたモデルでトレーニングすることにより、スケーリング則の公式のすべての定数項を推定するための透明性のあるステップバイステップの指示を提供します。
これらの推定式を使用して、トレーニング前に最大 330 億個のパラメーターを持つモデルのさまざまな属性を正確に予測する機能を示します。これには、(1) 可能な最小限のテスト損失。
(2) 特定の損失を達成するために必要な最小限のトレーニング手順と処理されたトークン。
(3) あらゆる損失値における最適な時間と計算のトレードオフを伴う重要なバッチ サイズ。
(4) 任意のバッチ サイズでの完全なテスト損失の軌跡。

要約(オリジナル)

Scaling law principles indicate a power-law correlation between loss and variables such as model size, dataset size, and computational resources utilized during training. These principles play a vital role in optimizing various aspects of model pre-training, ultimately contributing to the success of large language models such as GPT-4, Llama and Gemini. However, the original scaling law paper by OpenAI did not disclose the complete details necessary to derive the precise scaling law formulas, and their conclusions are only based on models containing up to 1.5 billion parameters. Though some subsequent works attempt to unveil these details and scale to larger models, they often neglect the training dependency of important factors such as the learning rate, context length and batch size, leading to their failure to establish a reliable formula for predicting the test loss trajectory. In this technical report, we confirm that the scaling law formulations proposed in the original OpenAI paper remain valid when scaling the model size up to 33 billion, but the constant coefficients in these formulas vary significantly with the experiment setup. We meticulously identify influential factors and provide transparent, step-by-step instructions to estimate all constant terms in scaling-law formulas by training on models with only 1M~60M parameters. Using these estimated formulas, we showcase the capability to accurately predict various attributes for models with up to 33B parameters before their training, including (1) the minimum possible test loss; (2) the minimum required training steps and processed tokens to achieve a specific loss; (3) the critical batch size with an optimal time/computation trade-off at any loss value; and (4) the complete test loss trajectory with arbitrary batch size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google