Sigma: Differential Rescaling of Query, Key and Value for Efficient Language Models

要約

システムドメインに特化した効率的な大規模な言語モデルであるSigmaを紹介し、DifFQKVの注意を含む新しいアーキテクチャに力を与え、細心の注意を払って収集されたシステムドメインデータで事前に訓練されています。
DIFFQKVの注意は、モデルのパフォーマンスと効率指標に対するさまざまな影響に基づいて、注意メカニズムのクエリ（Q）、キー（k）、および値（v）コンポーネントを最適化することにより、Sigmaの推論効率を大幅に向上させます。
具体的には、我々は（1）KおよびV成分の圧縮に対するモデルのさまざまな感度を示す広範な実験を実施し、差次的に圧縮されたKVの発生につながり、（2）Qヘッド寸法を拡大するために拡張Qを提案し、これにより強化するQヘッド寸法を拡大することを提案します。
推論速度への影響を最小限に抑えたモデルの表現容量。
厳密な理論的および経験的分析により、DiffQKVの注意が効率を大幅に向上させ、長期コンテキストシナリオで従来のグループ化されたクエリ注意（GQA）よりも最大33.36％の推論速度を達成することが明らかになりました。
さまざまなソースからの6Tトークンでシグマを事前に訓練します。これには、慎重に収集した19.5Bシステムドメインデータや、合成および書き換えデータの1Tトークンを含みます。
一般的なドメインでは、Sigmaは他の最先端のモデルに匹敵するパフォーマンスを達成します。
システムドメインでは、最初の包括的なベンチマークAimiciusを導入します。ここでは、Sigmaはすべてのタスクで顕著なパフォーマンスを示し、GPT-4を大幅に上回り、最大52.5％の絶対改善を行います。

要約(オリジナル)

We introduce Sigma, an efficient large language model specialized for the system domain, empowered by a novel architecture including DiffQKV attention, and pre-trained on our meticulously collected system domain data. DiffQKV attention significantly enhances the inference efficiency of Sigma by optimizing the Query (Q), Key (K), and Value (V) components in the attention mechanism differentially, based on their varying impacts on the model performance and efficiency indicators. Specifically, we (1) conduct extensive experiments that demonstrate the model’s varying sensitivity to the compression of K and V components, leading to the development of differentially compressed KV, and (2) propose augmented Q to expand the Q head dimension, which enhances the model’s representation capacity with minimal impacts on the inference speed. Rigorous theoretical and empirical analyses reveal that DiffQKV attention significantly enhances efficiency, achieving up to a 33.36% improvement in inference speed over the conventional grouped-query attention (GQA) in long-context scenarios. We pre-train Sigma on 6T tokens from various sources, including 19.5B system domain data that we carefully collect and 1T tokens of synthesized and rewritten data. In general domains, Sigma achieves comparable performance to other state-of-arts models. In the system domain, we introduce the first comprehensive benchmark AIMicius, where Sigma demonstrates remarkable performance across all tasks, significantly outperforming GPT-4 with an absolute improvement up to 52.5%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google