Learn To be Efficient: Build Structured Sparsity in Large Language Models

要約

大規模言語モデル (LLM) は、10 億レベルのパラメーターで目覚ましい成功を収めていますが、高い推論オーバーヘッドが発生します。
LLM におけるアクティベーション スパース性の出現により、推論にパラメーターの一部のみを関与させることで、このコストを削減する自然なアプローチが提供されます。
既存の方法は、この自然に形成された活性化の希薄性を利用することだけに焦点を当てており、この固有の希薄性をさらに増幅する可能性を見落としています。
この論文では、LLM はより構造化された活性化の希薄性を達成することで効率的になることを学習できるという仮説を立てています。
これを達成するために、効率を意識した LLM をトレーニングして、より少ないニューロンを活性化し、スパース性とパフォーマンスの間のより適切なトレードオフを達成することを学習するように設計された、新しいアルゴリズムである Learn-To-be-Efficient (LTE) を導入します。
さらに、主に ReLU ベースのモデルに焦点を当てた SOTA MoEfication 手法とは異なり、LTE はソフト アクティベーション機能を備えた GPT や LLaMA などの LLM にも適用できます。
4 つのモデルと 11 のデータセットで LTE を評価します。
実験では、LTE がスパース性とタスクのパフォーマンスの間でより優れたトレードオフを達成していることを示しています。
たとえば、LLaMA を使用した LTE は、言語生成タスクで 1.83 倍から 2.59 倍の FLOP の高速化を実現し、最先端の方法を上回ります。

要約(オリジナル)

Large Language Models (LLMs) have achieved remarkable success with their billion-level parameters, yet they incur high inference overheads. The emergence of activation sparsity in LLMs provides a natural approach to reduce this cost by involving only parts of the parameters for inference. Existing methods only focus on utilizing this naturally formed activation sparsity, overlooking the potential for further amplifying this inherent sparsity. In this paper, we hypothesize that LLMs can learn to be efficient by achieving more structured activation sparsity. To achieve this, we introduce a novel algorithm, Learn-To-be-Efficient (LTE), designed to train efficiency-aware LLMs to learn to activate fewer neurons and achieve a better trade-off between sparsity and performance. Furthermore, unlike SOTA MoEfication methods, which mainly focus on ReLU-based models, LTE can also be applied to LLMs like GPT and LLaMA with soft activation functions. We evaluate LTE on four models and eleven datasets. The experiments show that LTE achieves a better trade-off between sparsity and task performance. For instance, LTE with LLaMA provides a 1.83x-2.59x FLOPs speed-up on language generation tasks, outperforming the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google