SpecInfer: Accelerating Generative Large Language Model Serving with Speculative Inference and Token Tree Verification

要約

生成大規模言語モデル (LLM) には高い計算量とメモリ要件があるため、それらを迅速かつ安価に提供することが困難になります。
このペーパーでは、投機的推論とトークン ツリー検証を使用して生成 LLM 推論を高速化する LLM サービング システムである SpecInfer を紹介します。
Specinfer の背後にある重要な洞察は、集合的にブースト調整されたさまざまな小規模言語モデルを組み合わせて、LLM の出力を共同で予測することです。
予測はトークン ツリーとして編成され、そのノードのそれぞれが候補トークン シーケンスを表します。
トークン ツリーで表されるすべての候補トークン シーケンスの正確性は、新しいツリーベースの並列デコード メカニズムを使用して、LLM に対して並列で検証されます。
SpecInfer は、インクリメンタル デコーダーの代わりにトークン ツリー検証器として LLM を使用します。これにより、モデルの品質を維持しながら、生成 LLM を提供するためのエンドツーエンドの遅延と計算要件が大幅に削減されます。
私たちの評価では、SpecInfer は、同じ生成パフォーマンスを維持しながら、分散 LLM 推論では 1.3 ～ 2.4 倍、オフロード ベースの LLM 推論では 2.6 ～ 3.5 倍、既存の LLM サービング システムよりも優れたパフォーマンスを示します。
SpecInfer は、https://github.com/flexflow/FlexFlow/tree/inference で公開されています。

要約(オリジナル)

The high computational and memory requirements of generative large language models (LLMs) make it challenging to serve them quickly and cheaply. This paper introduces SpecInfer, an LLM serving system that accelerates generative LLM inference with speculative inference and token tree verification. A key insight behind Specinfer is to combine various collectively boost-tuned small language models to jointly predict the LLM’s outputs; the predictions are organized as a token tree, whose nodes each represent a candidate token sequence. The correctness of all candidate token sequences represented by a token tree is verified against the LLM in parallel using a novel tree-based parallel decoding mechanism. SpecInfer uses an LLM as a token tree verifier instead of an incremental decoder, which significantly reduces the end-to-end latency and computational requirement for serving generative LLMs while provably preserving model quality. Our evaluation shows that SpecInfer outperforms existing LLM serving systems by 1.3-2.4x for distributed LLM inference and by 2.6-3.5x for offloading-based LLM inference, while preserving the same generative performance. SpecInfer is publicly available at https://github.com/flexflow/FlexFlow/tree/inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google