CORM: Cache Optimization with Recent Message for Large Language Model Inference

要約

大規模言語モデル (LLM) は、幅広いタスクにわたって優れたパフォーマンスを発揮しますが、大量の GPU メモリを必要とし、大量の計算リソースを消費します。
モデルの重みによって占有されるメモリを超えて、KV キャッシュによって使用されるメモリはシーケンスの長さに応じて直線的に増加し、推論の主なボトルネックになります。
このペーパーでは、KV キャッシュを最適化し、メモリ フットプリントを大幅に最小限に抑える革新的な方法を紹介します。
徹底的に調査したところ、ほとんどの Transformer モデルでは、(i) 隣接するトークンのクエリ ベクトル間には驚くべき類似性があり、(ii) 現在のクエリのアテンションの計算は、ごく一部のトークンのアテンション情報のみに依存していることがわかりました。
前のクエリ。
これらの観察に基づいて、モデルの微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する KV キャッシュ削除ポリシーである CORM を紹介します。
私たちの検証では、CORM により KV キャッシュの推論メモリ使用量が最大 70% 削減され、LongBench の 6 つのタスク全体でパフォーマンスの低下は無視できる程度であることがわかりました。
さらに、CORM が GQA と互換性があり、さらなる圧縮率を実現できることを実証します。

要約(オリジナル)

Large Language Models (LLMs), despite their remarkable performance across a wide range of tasks, necessitate substantial GPU memory and consume significant computational resources. Beyond the memory taken up by model weights, the memory used by the KV cache rises linearly with sequence length, becoming a primary bottleneck for inference. In this paper, we introduce an innovative method for optimizing the KV cache, which considerably minimizes its memory footprint. Upon thorough investigation, we discover that in most Transformer models, (i) there is a striking similarity between adjacent tokens’ query vectors, and (ii) the attention calculation of the current query can rely exclusively on the attention information of a small fraction of preceding queries. Based on these observations, we present CORM, a KV cache eviction policy that dynamically retains essential key-value pairs for inference without the need for model fine-tuning. Our validation shows that CORM reduces the inference memory usage of KV cache by up to 70\% with negligible performance degradation across six tasks in LongBench. Furthermore, we demonstrate that CORM is compatible with GQA for further compression rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google