Stable Language Model Pre-training by Reducing Embedding Variability

要約

より優れたパフォーマンスの言語モデルを実現するには、安定した事前トレーニングが不可欠です。
ただし、各ステップで勾配の分散を計算してトレーニング前の安定性を追跡することは、計算コストが膨大であるため非現実的です。
層が浅いほど勾配爆発が起こりやすいことを考慮して、層前正規化を使用した言語モデルのトレーニング前の安定性を評価するためのシンプルで効率的なプロキシとして、トークン埋め込み変動性 (TEV) を検討します (セクション 2.2)。
さらに、出力埋め込み分散の指数関数的な増加を制限することでそのような不安定性を軽減し、それによって勾配爆発を防ぐアーキテクチャとしてマルチヘッド低ランクアテンション (MLRA) を提案します (セクション 3.2)。
MLRA を使用した GPT-2 の実験結果は、特により深いモデルにおいて、安定性の向上と複雑さの低下を示しています。

要約(オリジナル)

Stable pre-training is essential for achieving better-performing language models. However, tracking pre-training stability by calculating gradient variance at every step is impractical due to the significant computational costs. We explore Token Embedding Variability (TEV) as a simple and efficient proxy for assessing pre-training stability in language models with pre-layer normalization, given that shallower layers are more prone to gradient explosion (section 2.2). Moreover, we propose Multi-head Low-Rank Attention (MLRA) as an architecture to alleviate such instability by limiting the exponential growth of output embedding variance, thereby preventing the gradient explosion (section 3.2). Empirical results on GPT-2 with MLRA demonstrate increased stability and lower perplexity, particularly in deeper models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google