Compressing KV Cache for Long-Context LLM Inference with Inter-Layer Attention Similarity

要約

GPTシリーズやLLaMAシリーズなどの大規模言語モデル（LLM）では、コンテキストウィンドウのサイズが大きくなるにつれて、複雑で長いテキストタスクに取り組む能力が向上しているが、推論効率、特にメモリと計算量の複雑さを犠牲にしている。選択的トークン保持やウィンドウベースの注意など、既存の方法は効率を向上させるが、将来のテキスト生成に必要な重要なトークンを破棄するリスクがある。本稿では、重要度の低いトークンを破棄するのではなく、メモリと計算負荷を軽減することで、トークンを失うことなくLLM効率を向上させるアプローチを提案する：1) コンテキスト中の重要なトークンの分布を調べ、最近のトークンが遠くのトークンよりも重要であることを発見する。実験の結果、本手法は性能を落とすことなく$35%$のKVキャッシュを節約できることがわかった。

要約(オリジナル)

The increasing context window size in Large Language Models (LLMs), such as the GPT and LLaMA series, has improved their ability to tackle complex, long-text tasks, but at the cost of inference efficiency, particularly regarding memory and computational complexity. Existing methods, including selective token retention and window-based attention, improve efficiency but risk discarding important tokens needed for future text generation. In this paper, we propose an approach that enhances LLM efficiency without token loss by reducing the memory and computational load of less important tokens, rather than discarding them.We address two challenges: 1) investigating the distribution of important tokens in the context, discovering recent tokens are more important than distant tokens in context, and 2) optimizing resources for distant tokens by sharing attention scores across layers. The experiments show that our method saves $35\%$ KV cache without compromising the performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL