Inference with Reference: Lossless Acceleration of Large Language Models

要約

タイトル：参照による推論：大規模言語モデルの損失なし高速化

要約：

– LLMAというLLMアクセラレータを提案する。
– LLMAは、多くの現実世界のシナリオ（例：検索文書）で利用可能な参照とLLMによるデコード結果の間に大量の同一のテキストスパンがあることに基づく。
– LLMAは、まず参照からテキストスパンを選択し、そのトークンをデコーダにコピーし、次に1つのデコードステップ内でトークンの適切さを効率的にチェックすることにより、改善された計算並列処理を実現する。
– LLMAは、in-context referenceとoutputsの重複が多い多くの実用的な生成シナリオ（例：検索エンジンやマルチターンの会話）で、greedy decodingと同じ生成結果を持つLLMに対して2倍以上のスピードアップを実現する。

要約(オリジナル)

We propose LLMA, an LLM accelerator to losslessly speed up Large Language Model (LLM) inference with references. LLMA is motivated by the observation that there are abundant identical text spans between the decoding result by an LLM and the reference that is available in many real world scenarios (e.g., retrieved documents). LLMA first selects a text span from the reference and copies its tokens to the decoder and then efficiently checks the tokens’ appropriateness as the decoding result in parallel within one decoding step. The improved computational parallelism allows LLMA to achieve over 2x speed-up for LLMs with identical generation results as greedy decoding in many practical generation scenarios where significant overlap between in-context reference and outputs exists (e.g., search engines and multi-turn conversations).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI