Chimera: A Lossless Decoding Method for Accelerating Large Language Models Inference by Fusing all Tokens

要約

大規模言語モデル (LLM) は、さまざまなタスクにわたって優れた機能を実証しています。
しかし、その広範な応用は、リソースを大量に消費するデコードプロセスによって妨げられています。
この課題に対処するために、現在のアプローチでは、追加のデコード ヘッドを組み込んで、後続の複数のトークンの並列予測を可能にし、推論の高速化を実現しています。
それにもかかわらず、これらのデコード ヘッドの精度は、自己回帰デコード アプローチには及ばない。
これらの制限を考慮して、私たちは投機的サンプリングのために特別に設計された新しいフレームワークである Chimera を提案します。
このフレームワーク内で、以前に生成されたトークンを効果的に利用して後続の単語を予測する軽量のドラフト モデルを導入します。
精度と効率の両方を確保するために、軽量ドラフト モデル内で 2 つの戦略を提示します。
まず、最下層での短期依存関係のキャプチャに焦点を当てます。
次に、オリジナルの LLM からすぐに利用できる表現を活用します。Vicuna および LlaMA-2 シリーズの経験的評価を通じて、Chimera は優れた結果を示し、バニラの自己回帰デコード アプローチと比較して平均 2.7 倍のレイテンシ高速化率を達成しました。
これは、デコードプロセス中の大規模な言語モデルの効率を大幅に向上させる、私たちが提案するフレームワークの可能性を強調しています。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable capabilities across various tasks. However, their widespread application is hindered by the resource-intensive decoding process. To address this challenge, current approaches have incorporated additional decoding heads to enable parallel prediction of multiple subsequent tokens, thereby achieving inference acceleration. Nevertheless, the accuracy of these decoding heads falls short of the auto-regressive decoding approach. In light of these limitations, we propose Chimera, a novel framework specifically designed for speculative sampling. Within this framework, we introduce a lightweight draft model that effectively utilizes previously generated tokens to predict subsequent words. To ensure both accuracy and efficiency, we present two strategies within the lightweight draft model. Firstly, we focus on capturing short-range dependencies at the bottom layer. Secondly, we leverage the readily available representations from the original LLM.Through empirical evaluation on the Vicuna and LlaMA-2 series, Chimera demonstrates impressive results, achieving an average latency speedup ratio of 2.7x compared to the vanilla auto-regressive decoding approach. This highlights the potential of our proposed framework in significantly improving the efficiency of large language models during the decoding process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google