Scaling Law for Post-training after Model Pruning

要約

Transformer アーキテクチャに基づく大規模言語モデル (LLM) は、さまざまなドメインやタスクにわたって広く採用されています。
ただし、サイズが増大すると、ハードウェアへの要求が大幅に増大し、実際の導入が制限されます。
これを軽減するために、高いパフォーマンスを維持しながらより効率的なモデルを作成するモデル プルーニング技術が開発されました。
それにもかかわらず、枝刈り後のトレーニング後はパフォーマンスの回復に非常に重要であり、リソースを大量に消費する可能性があります。
このペーパーでは、プルーニングされた LLM のトレーニング後の要件を調査し、トレーニング後のデータの最適な量を決定するためのスケーリング則を導入します。
深さ枝刈り、幅枝刈り、および 2:4 半構造化枝刈りを使用して枝刈りされた Llama-3 および Qwen-2.5 シリーズ モデルを使用したトレーニング後の実験では、枝刈り率が高いほど、パフォーマンスの回復のためにより多くのトレーニング後データが必要になるのに対し、枝刈り率が大きいほど、より多くのポスト トレーニング データが必要であることがわかります。
LLM では必要なものが少なくなります。
提案されたスケーリング則は、枝刈り前後のパラメーター数とトレーニング後のトークン数に基づいてモデルの損失を予測します。
さらに、より小さな LLM から確立されたスケーリング則は、より大きな LLM にも確実に外挿できることがわかりました。
この研究は、プルーニングされた LLM のトレーニング後の貴重な洞察を提供し、トレーニング後のデータ使用を最適化するための実用的なスケーリング則を提供します。

要約(オリジナル)

Large language models (LLMs) based on the Transformer architecture are widely employed across various domains and tasks. However, their increasing size imposes significant hardware demands, limiting practical deployment. To mitigate this, model pruning techniques have been developed to create more efficient models while maintaining high performance. Despite this, post-training after pruning is crucial for performance recovery and can be resource-intensive. This paper investigates the post-training requirements of pruned LLMs and introduces a scaling law to determine the optimal amount of post-training data. Post-training experiments with the Llama-3 and Qwen-2.5 series models, pruned using depth pruning, width pruning, and 2:4 semi-structured pruning, show that higher pruning ratios necessitate more post-training data for performance recovery, whereas larger LLMs require less. The proposed scaling law predicts a model’s loss based on its parameter counts before and after pruning, as well as the post-training token counts. Furthermore, we find that the scaling law established from smaller LLMs can be reliably extrapolated to larger LLMs. This work provides valuable insights into the post-training of pruned LLMs and offers a practical scaling law for optimizing post-training data usage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google