Nearest Neighbor Speculative Decoding for LLM Generation and Attribution

要約

大規模言語モデル (LLM) は幻覚を起こすことが多く、世代の帰属を提供する機能が欠けています。
kNN-LM などのセミパラメトリック LM は、ノンパラメトリック データ ストア内の最近傍一致を使用して、特定のプロンプトに対する LM の出力を調整することで、これらの制限にアプローチします。
ただし、これらのモデルは推論速度が遅く、流暢でないテキストを生成することがよくあります。
この論文では、任意の長さの実世界のテキスト スパンを LM 世代に組み込み、そのソースへの帰属を提供できる新しいセミパラメトリック言語モデリング アプローチである最近傍投機復号 (NEST) を紹介します。
NEST は、各推論ステップでトークンレベルの取得を実行して、セミパラメトリック混合分布を計算し、コーパス内の有望なスパン継続を識別します。
次に、取得したスパンのプレフィックスを受け入れるか、新しいトークンを生成する、近似的な投機的デコード手順を使用します。
NEST は、さまざまな知識集約型タスクにわたってベース LM の生成品質と帰属率を大幅に向上させ、従来の kNN-LM 手法を上回り、コンテキスト内検索拡張と競合するパフォーマンスを発揮します。
さらに、NEST は生成速度を大幅に向上させ、Llama-2-Chat 70B に適用すると推論時間の 1.8 倍の高速化を達成します。

要約(オリジナル)

Large language models (LLMs) often hallucinate and lack the ability to provide attribution for their generations. Semi-parametric LMs, such as kNN-LM, approach these limitations by refining the output of an LM for a given prompt using its nearest neighbor matches in a non-parametric data store. However, these models often exhibit slow inference speeds and produce non-fluent texts. In this paper, we introduce Nearest Neighbor Speculative Decoding (NEST), a novel semi-parametric language modeling approach that is capable of incorporating real-world text spans of arbitrary length into the LM generations and providing attribution to their sources. NEST performs token-level retrieval at each inference step to compute a semi-parametric mixture distribution and identify promising span continuations in a corpus. It then uses an approximate speculative decoding procedure that accepts a prefix of the retrieved span or generates a new token. NEST significantly enhances the generation quality and attribution rate of the base LM across a variety of knowledge-intensive tasks, surpassing the conventional kNN-LM method and performing competitively with in-context retrieval augmentation. In addition, NEST substantially improves the generation speed, achieving a 1.8x speedup in inference time when applied to Llama-2-Chat 70B.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google