SUBLLM: A Novel Efficient Architecture with Token Sequence Subsampling for LLM

要約

大規模言語モデル (LLM) はさまざまな分野で目覚ましい成功を収めていますが、トレーニングと推論の効率は依然として大きな課題です。
この問題に対処するために、サブサンプリング、アップサンプリング、およびバイパス モジュールを組み込むことでコア デコーダのみのフレームワークを拡張する革新的なアーキテクチャである SUBLLM (Subsampling-Upsampling-Bypass Large Language Model) を提案します。
サブサンプリング モジュールはシーケンスを短縮する役割を果たし、アップサンプリング モジュールはシーケンスの長さを復元し、バイパス モジュールは収束を強化します。
LLaMA と比較して、提案された SUBLLM は、競争力のある少数ショットのパフォーマンスを維持しながら、トレーニングと推論の速度、およびメモリ使用量の両方で大幅な向上を示します。
トレーニング中、SUBLLM は速度を 26% 向上させ、GPU あたりのメモリを 10GB 削減します。
推論では、速度が最大 37% 向上し、GPU あたりメモリが 1 GB 削減されます。
コンテキスト ウィンドウを 8192 に拡張すると、トレーニング速度と推論速度がそれぞれ 34% と 52% 向上します。コードは https://github.com/XiaoMi/subllm で入手できます。

要約(オリジナル)

While Large Language Models (LLMs) have achieved remarkable success in various fields, the efficiency of training and inference remains a major challenge. To address this issue, we propose SUBLLM, short for Subsampling-Upsampling-Bypass Large Language Model, an innovative architecture that extends the core decoder-only framework by incorporating subsampling, upsampling, and bypass modules. The subsampling modules are responsible for shortening the sequence, while the upsampling modules restore the sequence length, and the bypass modules enhance convergence. In comparison to LLaMA, the proposed SUBLLM exhibits significant enhancements in both training and inference speeds as well as memory usage, while maintaining competitive few-shot performance. During training, SUBLLM increases speeds by 26% and cuts memory by 10GB per GPU. In inference, it boosts speeds by up to 37% and reduces memory by 1GB per GPU. The training and inference speeds can be enhanced by 34% and 52% respectively when the context window is expanded to 8192. Our code is available at https://github.com/XiaoMi/subllm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google