Sigma: Differential Rescaling of Query, Key and Value for Efficient Language Models

要約

システム ドメインに特化した効率的な大規模言語モデルである Sigma を紹介します。これは、DiffQKV アテンションを含む新しいアーキテクチャによって強化され、綿密に収集されたシステム ドメイン データで事前トレーニングされています。
DiffQKV アテンションは、モデルのパフォーマンスと効率の指標に対するさまざまな影響に基づいて、アテンション メカニズムのクエリ (Q)、キー (K)、および値 (V) コンポーネントを差分的に最適化することで、シグマの推論効率を大幅に向上させます。
具体的には、(1) K 成分と V 成分の圧縮に対するモデルのさまざまな感度を実証する広範な実験を実施し、差分圧縮 KV の開発につながります。(2) Q ヘッドの寸法を拡大して、
推論速度への影響を最小限に抑えながらモデルの表現能力を向上させます。
厳密な理論的および実証的分析により、DiffQKV アテンションが効率を大幅に向上させ、ロングコンテキストのシナリオで従来のグループ化クエリ アテンション (GQA) と比較して推論速度が最大 33.36% 向上することが明らかになりました。
当社は、慎重に収集した 195 億のシステム ドメイン データや、合成および書き換えられたデータの 1T トークンなど、さまざまなソースからの 6T トークンで Sigma を事前トレーニングします。
一般的な領域では、シグマは他の最先端モデルと同等のパフォーマンスを実現します。
システム ドメインでは、最初の包括的なベンチマーク AIMicius を導入します。このベンチマークでは、Sigma がすべてのタスクにわたって顕著なパフォーマンスを示し、絶対的な改善率が最大 52.5% で GPT-4 を大幅に上回りました。

要約(オリジナル)

We introduce Sigma, an efficient large language model specialized for the system domain, empowered by a novel architecture including DiffQKV attention, and pre-trained on our meticulously collected system domain data. DiffQKV attention significantly enhances the inference efficiency of Sigma by optimizing the Query (Q), Key (K), and Value (V) components in the attention mechanism differentially, based on their varying impacts on the model performance and efficiency indicators. Specifically, we (1) conduct extensive experiments that demonstrate the model’s varying sensitivity to the compression of K and V components, leading to the development of differentially compressed KV, and (2) propose augmented Q to expand the Q head dimension, which enhances the model’s representation capacity with minimal impacts on the inference speed. Rigorous theoretical and empirical analyses reveal that DiffQKV attention significantly enhances efficiency, achieving up to a 33.36% improvement in inference speed over the conventional grouped-query attention (GQA) in long-context scenarios. We pre-train Sigma on 6T tokens from various sources, including 19.5B system domain data that we carefully collect and 1T tokens of synthesized and rewritten data. In general domains, Sigma achieves comparable performance to other state-of-arts models. In the system domain, we introduce the first comprehensive benchmark AIMicius, where Sigma demonstrates remarkable performance across all tasks, significantly outperforming GPT-4 with an absolute improvement up to 52.5%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google