Parallel Speculative Decoding with Adaptive Draft Length

要約

追加のドラフト モデルを使用して最初に複数の \textit{draft} トークンを提供し、次に元のターゲット モデルがこれらのトークンを並行して検証する投機的デコード (SD) は、LLM 推論の高速化に大きな威力を発揮します。
ただし、既存の SD メソッドには相互待機の問題があります。つまり、ドラフト モデルが \textit{guessing} トークンである場合にターゲット モデルがスタックし、その逆も同様です。
この問題は、ドラフト モデルとターゲット モデルの非同期実行によって直接発生し、投機的デコードにおけるドラフトの長さが固定されているために悪化します。
これらの課題に対処するために、私たちは、投機的デコーディングを強化するための概念的にシンプルで柔軟かつ一般的なフレームワーク、つまり \textbf{A}daptive d\textbf{R}aft を使用した \textbf{P}arallel sp\textbf{E}culative decoding を提案します。
\textbf{L}長さ（パール）。
具体的には、PEARL は、ドラフト段階で最初のドラフト トークンを事前に検証する \textit{pre-verify} と、検証段階でさらにドラフト トークンを生成する \textit{post-verify} を提案しています。
PEARL は、2 つの戦略を適用することでドラフトフェーズと検証フェーズを並行して実行し、さまざまなシナリオに適応したドラフト長を実現し、相互待機の問題を効果的に軽減します。
さらに、PEARL の平均受け入れトークンが既存の \textit{draft-then-verify} の動作を超えることを理論的に証明します。
さまざまなテキスト生成ベンチマークの実験により、\name の有効性が実証され、自動回帰デコードやバニラと比較して、最大 \textbf{3.79$\times$} および \textbf{1.52$\times$} まで優れた高速化パフォーマンスが得られました。
それぞれ投機的なデコード。

要約(オリジナル)

Speculative decoding (SD), where an extra draft model is employed to provide multiple \textit{draft} tokens first and then the original target model verifies these tokens in parallel, has shown great power for LLM inference acceleration. However, existing SD methods suffer from the mutual waiting problem, i.e., the target model gets stuck when the draft model is \textit{guessing} tokens, and vice versa. This problem is directly incurred by the asynchronous execution of the draft model and the target model, and is exacerbated due to the fixed draft length in speculative decoding. To address these challenges, we propose a conceptually simple, flexible, and general framework to boost speculative decoding, namely \textbf{P}arallel sp\textbf{E}culative decoding with \textbf{A}daptive d\textbf{R}aft \textbf{L}ength (PEARL). Specifically, PEARL proposes \textit{pre-verify} to verify the first draft token in advance during the drafting phase, and \textit{post-verify} to generate more draft tokens during the verification phase. PEARL parallels the drafting phase and the verification phase via applying the two strategies, and achieves adaptive draft length for different scenarios, which effectively alleviates the mutual waiting problem. Moreover, we theoretically demonstrate that the mean accepted tokens of PEARL is more than existing \textit{draft-then-verify} works. Experiments on various text generation benchmarks demonstrate the effectiveness of our \name, leading to a superior speedup performance up to \textbf{3.79$\times$} and \textbf{1.52$\times$}, compared to auto-regressive decoding and vanilla speculative decoding, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google