HoliTom: Holistic Token Merging for Fast Video Large Language Models

要約

ビデオ大規模な言語モデル（ビデオLLM）はビデオ理解に優れていますが、冗長なビデオトークンのためにかなりの計算非効率性に直面しています。
既存のトークン剪定方法はソリューションを提供します。
ただし、FASTVなどのLLM内で動作するアプローチ（内部LLM剪定）は、浅い層で固有の計算オーバーヘッドを発生します。
対照的に、LLMの前にトークン剪定を実行する方法（外側LLM剪定）は、主に個々のフレームまたは限られた時間窓内の空間冗長性に対処し、より長いビデオシーケンスにわたる重要なグローバルな時間的ダイナミクスと相関を無視します。
これは、最適下の時空間削減につながり、ビデオの圧縮率を完全に活用しません。
重要なことに、これらの戦略を組み合わせることの相乗的な潜在的および相互の影響は未開拓のままです。
冗長性をさらに低減するために、新しいトレーニングのないホリスケートトークンマージフレームワークであるHolitomを紹介します。
Holitomは、グローバルな冗長性を意識した時間的セグメンテーションを通じて外部LLM剪定を採用し、その後空間的なマージを行い、視覚トークンを90％以上削減し、LLMの計算負担を大幅に緩和します。
これを補完すると、優れたパフォーマンスと外部LLMプルーニングとの互換性のために設計された、堅牢な内部llmトークンの類似性ベースのマージアプローチを導入します。
評価は、LLAVA-OneVision-7Bでのメソッドの有望な効率パフォーマンストレードオフを示しており、元のパフォーマンスの99.1％を維持しながら、計算コストをフロップの6.9％に削減します。
さらに、スループットのデコードにおける時間の時間（TTFT）の2.28倍の減少と1.32倍の加速を達成し、効率的なビデオLLMS推論のための統合された剪定アプローチの実際的な利点を強調しています。

要約(オリジナル)

Video large language models (video LLMs) excel at video comprehension but face significant computational inefficiency due to redundant video tokens. Existing token pruning methods offer solutions. However, approaches operating within the LLM (inner-LLM pruning), such as FastV, incur intrinsic computational overhead in shallow layers. In contrast, methods performing token pruning before the LLM (outer-LLM pruning) primarily address spatial redundancy within individual frames or limited temporal windows, neglecting the crucial global temporal dynamics and correlations across longer video sequences. This leads to sub-optimal spatio-temporal reduction and does not leverage video compressibility fully. Crucially, the synergistic potential and mutual influence of combining these strategies remain unexplored. To further reduce redundancy, we introduce HoliTom, a novel training-free holistic token merging framework. HoliTom employs outer-LLM pruning through global redundancy-aware temporal segmentation, followed by spatial-temporal merging to reduce visual tokens by over 90%, significantly alleviating the LLM’s computational burden. Complementing this, we introduce a robust inner-LLM token similarity-based merging approach, designed for superior performance and compatibility with outer-LLM pruning. Evaluations demonstrate our method’s promising efficiency-performance trade-off on LLaVA-OneVision-7B, reducing computational costs to 6.9% of FLOPs while maintaining 99.1% of the original performance. Furthermore, we achieve a 2.28x reduction in Time-To-First-Token (TTFT) and a 1.32x acceleration in decoding throughput, highlighting the practical benefits of our integrated pruning approach for efficient video LLMs inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google