A Systematic Study of Cross-Layer KV Sharing for Efficient LLM Inference

要約

最近、キーバリュー (KV) キャッシュをレイヤー間で共有することが、大規模言語モデル (LLM) の効率的な推論に効果的であることがわかりました。
クロスレイヤ KV 共有のさまざまな手法を体系的に調査するために、いくつかの最近の手法とその新しいバリアントをカバーする統一フレームワークを提案します。
私たちはフレームワークのすべての構成について包括的な実験を実施し、言語モデリングと下流タスクにおける生成スループットとパフォーマンスを評価します。
KV キャッシュのサイズを 2 倍に縮小すると、ほとんどの構成で標準トランスフォーマーと同等のパフォーマンスと高いスループットを達成できることがわかりました。しかし、KV キャッシュのサイズをさらに縮小すると、すべてのレイヤーのクエリを上位レイヤーの KV とペアリングすると、
パフォーマンスの維持が向上しますが、追加のトレーニング コストと事前入力の待ち時間も発生します。
この研究が、ユーザーが要件に応じて適切なアプローチを選択し、LLM 推論の高速化に関する研究を促進するのに役立つことを願っています。

要約(オリジナル)

Recently, sharing key-value (KV) cache across layers has been found effective in efficient inference of large language models (LLMs). To systematically investigate different techniques of cross-layer KV sharing, we propose a unified framework that covers several recent methods and their novel variants. We conduct comprehensive experiments on all the configurations of the framework, evaluating their generation throughput and performance in language modeling and downstream tasks. We find that when reducing the size of the KV cache by 2x, most configurations can achieve competitive performance to and higher throughput than standard transformers, but when further reducing the size of the KV cache, pairing queries of all layers with KVs of upper layers can better maintain performance, although it also introduces additional training cost and prefilling latency. We hope that this work will help users choose the appropriate approach according to their requirements and facilitate research on the acceleration of LLM inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google