Filter, Correlate, Compress: Training-Free Token Reduction for MLLM Acceleration

要約

シーケンスの長さに関するマルチモーダル大手言語モデル（MLLM）の2次複雑さは、重要な計算およびメモリの課題をもたらし、実際の展開を妨げます。
既存のトレーニングのないトークン削減方法は、これらの非効率性に対処することを目的としていますが、冗長な視覚トークンを正確に識別し、廃棄されたトークンから重要な情報を回復する方法は不明のままです。
このホワイトペーパーでは、トークンの削減を3つの段階に分解する「フィルター相関」フレームワークを提案します：冗長トークンのフィルタリング、廃棄された情報を保存されたトークンと相関させ、トークンを圧縮して冗長性を最小限に抑えます。
フレームワークに従って、単一の冗長性評価の制限を特定するためのソリューションフィココを提案し、廃棄されたトークンから重要な情報を保持するための適応戦略を提案し、トークン融合中のセマンティック希釈を緩和します。
2つの特殊なバリアント、FICOCO-V（視覚エンコーダー用）とFICOCO-L（LLMデコーダー用）は、MLLMアーキテクチャ全体の効率をさらに最適化します。
広範な実験は、FicocoがLLAVA-1.5-7B/LLAVA-NEXT-7Bで92.8％/93.6％のパフォーマンス保持により最大5.7x/14.7xフロップの減少を達成することを示しています。
私たちの方法は、最先端のトレーニングのないアプローチを一貫して上回り、再試行を必要とせずにモデルアーキテクチャ、サイズ、およびタスク全体で有効性と一般化を紹介します。
プロジェクトページはhttps://ficoco-accelerate.github.io/にあります。

要約(オリジナル)

The quadratic complexity of Multimodal Large Language Models (MLLMs) with respect to sequence length poses significant computational and memory challenges, hindering their real-world deployment. While existing training-free token reduction methods aim to address these inefficiencies, how to precisely identify redundant visual tokens and recover the essential information from the discarded tokens remain unclear. In this paper, we propose a ”filter-correlate-compress” framework that decomposes the token reduction into three stages: filtering redundant tokens, correlating discarded information to preserved tokens, and compressing tokens to minimize redundancy. Following the framework, we propose a solution FiCoCo to identify limitations in single redundancy assessment, propose adaptive strategies to retain critical information from discarded tokens, and mitigate semantic dilution during token fusion. Two specialized variants, FiCoCo-V (for vision encoders) and FiCoCo-L (for LLM decoders), further optimize efficiency across MLLM architectures. Extensive experiments demonstrate that FiCoCo achieves up to 5.7x/14.7x FLOPs reduction with 92.8%/93.6% performance retention on LLaVA-1.5-7B/LLaVA-NeXT-7B. Our methods consistently outperform state-of-the-art training-free approaches, showcasing effectiveness and generalizability across model architectures, sizes, and tasks without requiring retraining. Our project page is at https://ficoco-accelerate.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google