SentenceVAE: Enable Next-sentence Prediction for Large Language Models with Faster Speed, Higher Accuracy and Longer Context

要約

現在の大規模言語モデル (LLM) は、推論に主にネクスト トークン予測手法を利用していますが、これにより処理速度が大幅に低下します。
この論文では、LLM の推論効率を向上させることを目的として、次文予測と呼ばれる新しい推論方法論を紹介します。
我々は、文内の複数のトークンを 1 つのトークンに圧縮するセンテンス エンコーダと、それを再構築するセンテンス デコーダを含む、センテンス バリエーション オートエンコーダ (SentenceVAE) を紹介します。
SentenceVAE を LLM の入力層と出力層に統合することにより、文ごとの推論方法を採用する文レベル LLM (SLLM) を開発します。
さらに、SLLM の SentenceVAE モジュールは、コンテキストを文に分割することで元の意味内容の整合性を維持できるため、推論速度を向上させながら精度を向上させることができます。
さらに、以前の LLM と比較して、SLLM は同等のコンテキスト長で処理するトークンの数が少ないため、セルフアテンションの計算に必要なメモリが大幅に削減され、より長いコンテキストの処理が容易になります。
Wanjuan データセットに対する広範な実験により、提案された方法により推論速度が 204 ～ 365% 高速化され、パープレキシティ (PPL) が元のメトリックの 46 ～ 75% に削減され、同等のコンテキスト長に対してメモリ オーバーヘッドが 86 ～ 91% 削減できることが明らかになりました。
、以前のトークンごとの方法と比較して。

要約(オリジナル)

Current large language models (LLMs) primarily utilize next-token prediction method for inference, which significantly impedes their processing speed. In this paper, we introduce a novel inference methodology termed next-sentence prediction, aiming at enhancing the inference efficiency of LLMs. We present Sentence Variational Autoencoder (SentenceVAE), which includes a Sentence Encoder to compress multiple tokens in a sentence into a single token, and a Sentence Decoder to reconstruct it. By integrating SentenceVAE into the input and output layers of LLMs, we develop Sentence-level LLMs (SLLMs) that employ a sentence-by-sentence inference method. In addition, the SentenceVAE module of SLLMs can maintain the integrity of the original semantic content by segmenting the context into sentences, thereby improving accuracy while boosting inference speed. Moreover, compared to previous LLMs, SLLMs process fewer tokens over equivalent context length, significantly reducing memory demands for self-attention computation and facilitating the handling of longer context. Extensive experiments on Wanjuan dataset have revealed that the proposed method can accelerate inference speed by 204~365%, reduce perplexity (PPL) to 46~75% of its original metric, and decrease memory overhead by 86~91% for the equivalent context length, compared to previous token-by-token methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google