Predictive Pipelined Decoding: A Compute-Latency Trade-off for Exact LLM Decoding

要約

この論文では、元のデコードとまったく同じ出力を維持しながら、大規模言語モデル (LLM) での貪欲なデコードを高速化するアプローチである「予測パイプライン デコード (PPD)」について説明します。
従来の戦略とは異なり、PPD は追加の計算リソースを使用して、現在のトークンのデコード中に後続のトークンのデコードの開始を並列化します。
この革新的な方法は、デコードの待ち時間を短縮し、LLM デコード戦略におけるトレードオフの理解を再構築します。
私たちは、計算とレイテンシの間のトレードオフを分析できる理論的フレームワークを開発しました。
このフレームワークを使用すると、p_correct として表される一致率の評価を通じて達成される、提案された方法に関連する潜在的なレイテンシの削減を分析的に推定できます。
この結果は、追加の計算リソースを使用すると、LLM 貪欲デコードを高速化できる可能性があることを示しています。

要約(オリジナル)

This paper presents ‘Predictive Pipelined Decoding (PPD),’ an approach that speeds up greedy decoding in Large Language Models (LLMs) while maintaining the exact same output as the original decoding. Unlike conventional strategies, PPD employs additional compute resources to parallelize the initiation of subsequent token decoding during the current token decoding. This innovative method reduces decoding latency and reshapes the understanding of trade-offs in LLM decoding strategies. We have developed a theoretical framework that allows us to analyze the trade-off between computation and latency. Using this framework, we can analytically estimate the potential reduction in latency associated with our proposed method, achieved through the assessment of the match rate, represented as p_correct. The results demonstrate that the use of extra computational resources has the potential to accelerate LLM greedy decoding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google