Inference-Time Hyper-Scaling with KV Cache Compression

要約

より長い並列シーケンスを生成することにより、推論時のスケーリング取引効率を推論する効率を高めます。
ただし、変圧器LLMSでは、生成コストは、生成されたトークンの数ではなく、キー価値（kV）キャッシュのサイズによってボトルネックされています。
したがって、推論時間のハイパースケーリングを調査します。KVキャッシュを圧縮することにより、同じ計算予算内でより多くのトークンを生成し、スケーリングされた推論の精度をさらに向上させることができます。
しかし、このアプローチの成功は、高圧縮率であっても精度を維持する圧縮方法の能力にかかっています。
ハイパースケーリングを実用的にするために、ダイナミックメモリスパル化（DMS）を導入します。これは、トレーニングフリースパースの注意よりも優れた精度を維持しながら、8 $ \ Times $の圧縮を達成するために1Kトレーニングステップのみを必要とするKVキャッシュをスパースする新しい方法です。
キャッシュされたトークンを早期に廃棄する代わりに、DMSはトークンの立ち退きを遅らせ、表現を暗黙的に統合し、重要な情報を保存します。
LLMSの複数のファミリーでDMSを使用した推論時間ハイパースケーリングの有効性を実証し、同等の推論ランタイムとメモリ負荷の精度を高めることを示しています。
たとえば、QWEN-R1 32BをAIME 24で平均9.1ポイント、GPQAで7.6、LiveCodebenchで9.6を計算予算全体で強化します。

要約(オリジナル)

Inference-time scaling trades efficiency for increased reasoning accuracy by generating longer or more parallel sequences. However, in Transformer LLMs, generation cost is bottlenecked by the size of the key-value (KV) cache, rather than the number of generated tokens. Hence, we explore inference-time hyper-scaling: by compressing the KV cache, we can generate more tokens within the same compute budget and further improve the accuracy of scaled inference. The success of this approach, however, hinges on the ability of compression methods to preserve accuracy even at high compression ratios. To make hyper-scaling practical, we introduce Dynamic Memory Sparsification (DMS), a novel method for sparsifying KV caches that only requires 1K training steps to achieve 8$\times$ compression, while maintaining better accuracy than training-free sparse attention. Instead of prematurely discarding cached tokens, DMS delays token eviction, implicitly merging representations and preserving critical information. We demonstrate the effectiveness of inference-time hyper-scaling with DMS on multiple families of LLMs, showing that it boosts accuracy for comparable inference runtime and memory load. For instance, we enhance Qwen-R1 32B by an average of 9.1 points on AIME 24, 7.6 on GPQA, and 9.6 on LiveCodeBench across compute budgets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google