Scaling Laws for Linear Complexity Language Models

要約

大規模言語モデルの線形複雑性モデルへの関心は高まっていますが、そのスケーリング能力は依然として不確実です。
この研究では、線形複雑性言語モデルのスケーラビリティの基礎を確立するためのスケーリング則を提示します。
具体的には、3 つの効率的な線形アーキテクチャのスケーリング動作を調べます。
これらには、データに依存しない減衰を伴う線形注意モデルである TNL が含まれます。
HGRN2、データ依存の減衰を持つ線形 RNN。
cosFormer2 は減衰のない線形注意モデルです。
また、比較のためにソフトマックスのベースライン アーキテクチャとして LLaMA も含めます。
これらのモデルは、300B トークン コーパス上の 70M から 7B のパラメーターにわたる 6 つのバリアントでトレーニングされ、さまざまな下流タスクで合計 1,376 の中間チェックポイントで評価されました。
これらのタスクには、検証損失、常識的推論、情報の検索と生成が含まれます。
この研究では、既存の線形複雑性言語モデルが従来のトランスフォーマーベースのモデルと同様のスケーリング機能を示し、同時に優れた言語熟練度および知識保持力を示していることが明らかになりました。

要約(オリジナル)

The interest in linear complexity models for large language models is on the rise, although their scaling capacity remains uncertain. In this study, we present the scaling laws for linear complexity language models to establish a foundation for their scalability. Specifically, we examine the scaling behaviors of three efficient linear architectures. These include TNL, a linear attention model with data-independent decay; HGRN2, a linear RNN with data-dependent decay; and cosFormer2, a linear attention model without decay. We also include LLaMA as a baseline architecture for softmax attention for comparison. These models were trained with six variants, ranging from 70M to 7B parameters on a 300B-token corpus, and evaluated with a total of 1,376 intermediate checkpoints on various downstream tasks. These tasks include validation loss, commonsense reasoning, and information retrieval and generation. The study reveals that existing linear complexity language models exhibit similar scaling capabilities as conventional transformer-based models while also demonstrating superior linguistic proficiency and knowledge retention.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google