Fast Large Language Model Collaborative Decoding via Speculation

要約

大規模な言語モデル（LLM）コラボレーションデコード手法は、各世代のステップで複数のモデルの出力を組み合わせることにより、出力品質を改善しますが、高い計算コストが発生します。
このホワイトペーパーでは、パフォーマンスを損なうことなく共同デコードを加速する新しいフレームワークである投機（COS）を介して共同デコードを紹介します。
投機的なデコードに触発されました – 小さな提案モデルがトークンを順次生成し、より大きなターゲットモデルが並行してそれらを検証し、私たちのアプローチは2つの重要な洞察に基づいて構築されます。
この方法は、Nモデル間のコラボレーションに一般化し、理論的にはCOSが標準的なコラボレーションデコードよりも遅くなることはなく、通常はより速い速度を達成することを証明します。
大規模な実験により、COSは、発電の品質を損なうことなく、標準の共同デコードよりも1.11x-2.23xが速いことを示しています。
私たちのコードは、https：//github.com/kamichanw/cos/で入手できます。

要約(オリジナル)

Large Language Model (LLM) collaborative decoding techniques improve output quality by combining the outputs of multiple models at each generation step, but they incur high computational costs. In this paper, we introduce Collaborative decoding via Speculation (CoS), a novel framework that accelerates collaborative decoding without compromising performance. Inspired by Speculative Decoding–where a small proposal model generates tokens sequentially, and a larger target model verifies them in parallel, our approach builds on two key insights: (1) the verification distribution can be the combined distribution of both the proposal and target models, and (2) alternating each model as the proposer and verifier can further enhance efficiency. We generalize this method to collaboration among n models and theoretically prove that CoS is never slower than standard collaborative decoding, typically achieving faster speed. Extensive experiments demonstrate CoS is 1.11x-2.23x faster than standard collaborative decoding without compromising generation quality. Our code is available at https://github.com/Kamichanw/CoS/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google