Speculative Contrastive Decoding

要約

大規模言語モデル (LLM) は言語タスクにおいて並外れたパフォーマンスを示しますが、その自己回帰推論は高い計算要件により制限され、露出バイアスにより最適とは言えません。
投機的復号化と対照的復号化からインスピレーションを得て、小規模な言語モデル (LM) からの予測を活用して、復号化の高速化と品質向上の両方を達成する、単純かつ強力な復号化アプローチである投機的対照的復号化 (SCD) を紹介します。
4 つの多様な言語タスクに関する広範な評価と分析により、SCD の有効性が実証され、1 つの小さな LM によってデコード効率と品質が両立できることがわかりました。

要約(オリジナル)

Large language models~(LLMs) exhibit exceptional performance in language tasks, yet their auto-regressive inference is limited due to high computational requirements and is sub-optimal due to the exposure bias. Inspired by speculative decoding and contrastive decoding, we introduce Speculative Contrastive Decoding~(SCD), a straightforward yet powerful decoding approach that leverages predictions from smaller language models~(LMs) to achieve both decoding acceleration and quality improvement. Extensive evaluations and analyses on four diverse language tasks demonstrate the effectiveness of SCD, showing that decoding efficiency and quality can compatibly benefit from one smaller LM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google