HybridNorm: Towards Stable and Efficient Transformer Training via Hybrid Normalization

要約

トランスフォーマーは、特に大規模な言語モデル（LLM）で、幅広い機械学習タスクの事実上のアーキテクチャとなっています。
驚くべきパフォーマンスにもかかわらず、特に層の正規化の位置に関して、深い変圧器ネットワークのトレーニングに課題が残っています。
プレノーム構造は、より顕著なアイデンティティパスのために簡単なトレーニングを促進しますが、多くの場合、ポストノームと比較して最適ではないパフォーマンスをもたらします。
このホワイトペーパーでは、$ \ textBf {HybridNorm} $を提案します。これは、プリノームとノーム後のアプローチの両方の利点を統合する簡単でありながら効果的なハイブリッド正規化戦略です。
具体的には、ハイブリッドノームは、各トランスブロックのフィードフォワードネットワーク（FFN）で注意メカニズムとポストノーム内でQKV正規化を採用しています。
このデザインは、特にLLMSのコンテキストで、トレーニングを安定させるだけでなく、パフォーマンスを向上させます。
密集したアーキテクチャとスパースアーキテクチャの両方での包括的な実験は、ハイブリッドノームが一貫してノーム以前のアプローチとノーム後のアプローチの両方を上回り、さまざまなベンチマークで最新の結果を達成することを示しています。
これらの発見は、ディープトランスモデルのトレーニングとパフォーマンスを改善するためのより安定した効果的な手法としてのハイブリッドノームの可能性を強調しています。
コードはhttps://github.com/brycezhuo/hybridnormで入手できます。

要約(オリジナル)

Transformers have become the de facto architecture for a wide range of machine learning tasks, particularly in large language models (LLMs). Despite their remarkable performance, challenges remain in training deep transformer networks, especially regarding the location of layer normalization. While Pre-Norm structures facilitate easier training due to their more prominent identity path, they often yield suboptimal performance compared to Post-Norm. In this paper, we propose $\textbf{HybridNorm}$, a straightforward yet effective hybrid normalization strategy that integrates the advantages of both Pre-Norm and Post-Norm approaches. Specifically, HybridNorm employs QKV normalization within the attention mechanism and Post-Norm in the feed-forward network (FFN) of each transformer block. This design not only stabilizes training but also enhances performance, particularly in the context of LLMs. Comprehensive experiments in both dense and sparse architectures show that HybridNorm consistently outperforms both Pre-Norm and Post-Norm approaches, achieving state-of-the-art results across various benchmarks. These findings highlight the potential of HybridNorm as a more stable and effective technique for improving the training and performance of deep transformer models. Code is available at https://github.com/BryceZhuo/HybridNorm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google