DyCoke: Dynamic Compression of Tokens for Fast Video Large Language Models

要約

ビデオ大規模言語モデル (VLLM) は、複雑なビデオ コンテンツの処理において最近大幅に進歩していますが、ビデオ入力から生成される数千のビジュアル トークンから生じる高い計算コストのため、その推論効率は依然として制限されています。
単一の画像入力とは異なり、VLLM は通常、異なるデコード反復で異なるフレームからのビジュアル トークンを扱うため、ワンショット プルーニング戦略では重要なトークンを誤って削除する傾向があることが経験的に観察されています。
これを動機として、トークン表現を最適化し、VLLM を高速化するトレーニング不要のトークン圧縮手法である DyCoke を紹介します。
DyCoke にはプラグアンドプレイの時間圧縮モジュールが組み込まれており、フレーム全体で冗長トークンをマージすることで時間的冗長性を最小限に抑え、動的な KV キャッシュ削減を適用して空間的に冗長なトークンを選択的にプルーニングします。
各デコードステップで重要なトークンを動的に保持することで、高品質の推論を保証します。
広範な実験結果は、DyCoke が以前の SoTA 対応製品よりも優れたパフォーマンスを示し、ベースライン VLLM に対して 1.5 倍の推論速度向上と 1.4 倍のメモリ削減を達成しながら、トレーニングなしでパフォーマンスを向上できることを示しています。

要約(オリジナル)

Video large language models (VLLMs) have significantly advanced recently in processing complex video content, yet their inference efficiency remains constrained because of the high computational cost stemming from the thousands of visual tokens generated from the video inputs. We empirically observe that, unlike single image inputs, VLLMs typically attend visual tokens from different frames at different decoding iterations, making a one-shot pruning strategy prone to removing important tokens by mistake. Motivated by this, we present DyCoke, a training-free token compression method to optimize token representation and accelerate VLLMs. DyCoke incorporates a plug-and-play temporal compression module to minimize temporal redundancy by merging redundant tokens across frames, and applies dynamic KV cache reduction to prune spatially redundant tokens selectively. It ensures high-quality inference by dynamically retaining the critical tokens at each decoding step. Extensive experimental results demonstrate that DyCoke can outperform the prior SoTA counterparts, achieving 1.5X inference speedup, 1.4X memory reduction against the baseline VLLM, while still improving the performance, with no training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google