Plug-and-Play 1.x-Bit KV Cache Quantization for Video Large Language Models

要約

ビデオ大規模な言語モデル（Videollms）は、より長いビデオ入力を処理し、複雑な推論と分析を可能にする機能を実証しています。
ただし、ビデオフレームからの数千の視覚トークンにより、Key-Value（KV）キャッシュはメモリ要件を大幅に増加させ、推論速度とメモリ使用量のボトルネックになります。
KVキャッシュ量子化は、この問題に対処するために広く使用されているアプローチです。
このホワイトペーパーでは、Videollmsの2ビットKV量子化はモデルのパフォーマンスをほとんど損なうことができないが、さらに低いビットでのKVキャッシュ量子化の限界は調査されていないことがわかります。
このギャップを埋めるために、KVキャッシュを2ビット未満に圧縮するためのプラグアンドプレイKVキャッシュ量子化方法であるVIDKVを導入します。
具体的には、（1）キーの場合、チャネル次元で混合精度の量子化戦略を提案します。ここでは、異常なチャネルの2ビット量子化と、通常のチャネルのFFTと組み合わせた1ビット量子化を実行します。
（2）価値については、精度とモデルのパフォーマンスの間のより良いトレードオフのために、ターゲットを絞った保存のためにセマンティックに顕著な視覚トークンを選択的にフィルタリングしながら、1.58ビットの量子化を実装します。
重要なことに、我々の調査結果は、Videollmsの価値キャッシュは、以前のKVキャッシュ量子化がLLMSの以前のKVキャッシュ量子化によって提案されているのではなく、チャネルごとのファッションで量子化されるべきであることを示唆しています。
経験的には、6つのベンチマーク上のLlava-ov-7bおよびqwen2.5-VL-7bでの広範な結果は、VIDKVがKVキャッシュを効果的に1.5ビットと1.58ビットの精度で効果的に圧縮し、FP16の対応物と比較してパフォーマンスの低下がほとんどないことを示しています。

要約(オリジナル)

Video large language models (VideoLLMs) have demonstrated the capability to process longer video inputs and enable complex reasoning and analysis. However, due to the thousands of visual tokens from the video frames, key-value (KV) cache can significantly increase memory requirements, becoming a bottleneck for inference speed and memory usage. KV cache quantization is a widely used approach to address this problem. In this paper, we find that 2-bit KV quantization of VideoLLMs can hardly hurt the model performance, while the limit of KV cache quantization in even lower bits has not been investigated. To bridge this gap, we introduce VidKV, a plug-and-play KV cache quantization method to compress the KV cache to lower than 2 bits. Specifically, (1) for key, we propose a mixed-precision quantization strategy in the channel dimension, where we perform 2-bit quantization for anomalous channels and 1-bit quantization combined with FFT for normal channels; (2) for value, we implement 1.58-bit quantization while selectively filtering semantically salient visual tokens for targeted preservation, for a better trade-off between precision and model performance. Importantly, our findings suggest that the value cache of VideoLLMs should be quantized in a per-channel fashion instead of the per-token fashion proposed by prior KV cache quantization works for LLMs. Empirically, extensive results with LLaVA-OV-7B and Qwen2.5-VL-7B on six benchmarks show that VidKV effectively compresses the KV cache to 1.5-bit and 1.58-bit precision with almost no performance drop compared to the FP16 counterparts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google