Decoding Speculative Decoding

要約

投機的デコードは、品質を犠牲にすることなく大規模言語モデル (LLM) の推論を高速化するために広く使用されている手法です。
推論を実行する場合、投機的デコードではより小さなドラフト モデルを使用して投機的トークンを生成し、ターゲット LLM を使用してそれらのドラフト トークンを検証します。
投機的デコードによって実現される高速化は、ドラフト モデルの選択に大きく依存します。
この研究では、投機的デコーディングを使用した LLaMA-65B および OPT-66B の 350 を超える実験からなる詳細な研究を実行し、投機的デコーディングによってもたらされるパフォーマンスの向上に影響を与える要因を詳しく説明します。
私たちの実験によると、投機的デコードのパフォーマンスはドラフト モデルのレイテンシに大きく依存し、言語モデリングにおけるドラフト モデルの機能は投機的デコードのパフォーマンスと強い相関関係がないことがわかりました。
これらの洞察に基づいて、ドラフト モデルの新しい設計空間を探索し、投機的デコード用のハードウェア効率の高いドラフト モデルを設計します。
LLaMA-65B 用に新しく設計されたドラフト モデルは、既存のドラフト モデルより 60% 高いスループットを提供でき、LLaMA-2 モデル ファミリおよび教師付き微調整モデルにさらに一般化できます。

要約(オリジナル)

Speculative Decoding is a widely used technique to speed up inference for Large Language Models (LLMs) without sacrificing quality. When performing inference, speculative decoding uses a smaller draft model to generate speculative tokens and then uses the target LLM to verify those draft tokens. The speedup provided by speculative decoding heavily depends on the choice of the draft model. In this work, we perform a detailed study comprising over 350 experiments with LLaMA-65B and OPT-66B using speculative decoding and delineate the factors that affect the performance gain provided by speculative decoding. Our experiments indicate that the performance of speculative decoding depends heavily on the latency of the draft model, and the draft model’s capability in language modeling does not correlate strongly with its performance in speculative decoding. Based on these insights we explore a new design space for draft models and design hardware-efficient draft models for speculative decoding. Our newly designed draft model for LLaMA-65B can provide 60% higher throughput than existing draft models and can generalize further to the LLaMA-2 model family and supervised fine-tuned models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google