MagicDec: Breaking the Latency-Throughput Tradeoff for Long Context Generation with Speculative Decoding

要約

大規模な言語モデル（LLM）は、インタラクティブなチャットボット、ドキュメント分析、エージェントワークフローなどの長いコンテキストアプリケーションでより一般的になりましたが、低レイテンシとハイスループットで長いコンテキストリクエストを提供することは困難です。
投機的デコード（SD）は、レイテンシを損失を抑えるために広く使用されている手法ですが、従来の知恵は、その有効性が小さなバッチサイズに限定されていることを示唆しています。
MagicDecでは、驚くべきことにSDが中程度から長いシーケンスの高スループット推論体制でもスピードアップを達成できることを示しています。
さらに興味深いことに、インテリジェントな起草戦略は、厳密な分析に基づいてバッチサイズが増加すると、より良いスピードアップを実現できます。
MagicDecは、最初にバッチサイズとシーケンスの長さが増加するボトルネックシフトを識別し、これらの洞察を使用して、SDをより効果的に展開し、高スループット推論のために展開します。
スパースKVキャッシュを使用してドラフトモデルを活用して、シーケンスの長さとバッチサイズの両方でスケーリングするKVボトルネックに対処します。
さらに、最大速度のために最適なドラフト戦略を選択するための理論モデルを提案します。
私たちの仕事は、スループットを強化し、精度を損なうことなくレイテンシを減らすことができるため、長いコンテキストサービングでの投機的デコードの幅広い適用性を強調しています。
中程度から長いシーケンスの場合、さまざまな種類のハードウェアとタスクで32から256の範囲のバッチサイズを提供する場合、llama3.1-8bの最大2.51xスピードアップを示します。

要約(オリジナル)

Large Language Models (LLMs) have become more prevalent in long-context applications such as interactive chatbots, document analysis, and agent workflows, but it is challenging to serve long-context requests with low latency and high throughput. Speculative decoding (SD) is a widely used technique to reduce latency losslessly, but the conventional wisdom suggests that its efficacy is limited to small batch sizes. In MagicDec, we show that surprisingly SD can achieve speedup even for a high throughput inference regime for moderate to long sequences. More interestingly, an intelligent drafting strategy can achieve better speedup with increasing batch size based on our rigorous analysis. MagicDec first identifies the bottleneck shifts with increasing batch size and sequence length, and uses these insights to deploy SD more effectively for high throughput inference. We leverage draft model with sparse KV cache to address the KV bottleneck, which scales with both sequence length and batch size. Additionally, we propose a theoretical model to select the optimal drafting strategy for maximum speedup. Our work highlights the broad applicability of speculative decoding in long-context serving, as it can enhance throughput and reduce latency without compromising accuracy. For moderate to long sequences, we demonstrate up to 2.51x speedup for Llama3.1-8B when serving batch sizes ranging from 32 to 256 on various types of hardware and tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google