Scale-Distribution Decoupling: Enabling Stable and Effective Training of Large Language Models

要約

トレーニングの安定性は、特に勾配爆発と散逸を起こしやすいポストノーム変圧器などのアーキテクチャでは、大規模な言語モデル（LLM）の事前トレーニングにおける永続的な課題です。
このホワイトペーパーでは、完全に接続された層の重量マトリックスのスケールと分布を明示的に分離することによりトレーニングを安定させる新しいアプローチである、スケールディストリビューションデカップリング（SDD）を提案します。
SDDは、活性化を調節するための正規化メカニズムと学習可能なスケーリングベクターを適用して、条件付き勾配を維持し、$ \ textBF {勾配爆発と散逸} $を効果的に防止します。
この分離は、安定した勾配伝播を確保することにより、特に深いネットワークでの最適化効率を改善します。
実験結果は、私たちの方法がさまざまなLLMアーキテクチャ間のトレーニングを安定させ、異なる正規化構成で既存の手法を上回ることを示しています。
さらに、提案された方法は軽量で既存のフレームワークと互換性があるため、LLMトレーニングを安定化するための実用的なソリューションとなっています。
コードはhttps://github.com/kaihemo/sddで入手できます。

要約(オリジナル)

Training stability is a persistent challenge in the pre-training of large language models (LLMs), particularly for architectures such as Post-Norm Transformers, which are prone to gradient explosion and dissipation. In this paper, we propose Scale-Distribution Decoupling (SDD), a novel approach that stabilizes training by explicitly decoupling the scale and distribution of the weight matrix in fully-connected layers. SDD applies a normalization mechanism to regulate activations and a learnable scaling vector to maintain well-conditioned gradients, effectively preventing $\textbf{gradient explosion and dissipation}$. This separation improves optimization efficiency, particularly in deep networks, by ensuring stable gradient propagation. Experimental results demonstrate that our method stabilizes training across various LLM architectures and outperforms existing techniques in different normalization configurations. Furthermore, the proposed method is lightweight and compatible with existing frameworks, making it a practical solution for stabilizing LLM training. Code is available at https://github.com/kaihemo/SDD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google