LVPruning: An Effective yet Simple Language-Guided Vision Token Pruning Approach for Multi-modal Large Language Models

要約

マルチモーダル大規模言語モデル (MLLM) は、ビジュアル モダリティとテキスト モダリティを統合することで目覚ましい成功を収めました。
ただし、大量のビジョン トークンが処理されるため、かなりの計算オーバーヘッドが発生し、リソースに制約のある環境では実用性が制限されます。
MLLM 向けに、Language-Guided Vision Token Pruning (LVPruning) を導入します。これは、モデルのパフォーマンスを維持しながら計算負荷を大幅に軽減する、効果的かつシンプルな方法です。
LVPruning は、クロス アテンション モジュールを使用して、言語トークンとの相互作用に基づいてビジョン トークンの重要性を計算し、どれをプルーニングするかを決定します。
重要なのは、LVPruning は元の MLLM パラメータを変更せずに統合できるため、LVPruning の適用または削除が簡単になることです。
私たちの実験では、LVPruning が LLaVA-1.5 の中間層によってビジョン トークンを効果的に最大 90% 削減でき、その結果、推論 Tera Floating-Point Operations Per Second (TFLOP) が 62.1% 減少し、平均パフォーマンス損失はわずか 10% であることが示されました。
9 つのマルチモーダル ベンチマーク全体で 0.45%。

要約(オリジナル)

Multi-modal Large Language Models (MLLMs) have achieved remarkable success by integrating visual and textual modalities. However, they incur significant computational overhead due to the large number of vision tokens processed, limiting their practicality in resource-constrained environments. We introduce Language-Guided Vision Token Pruning (LVPruning) for MLLMs, an effective yet simple method that significantly reduces the computational burden while preserving model performance. LVPruning employs cross-attention modules to compute the importance of vision tokens based on their interaction with language tokens, determining which to prune. Importantly, LVPruning can be integrated without modifying the original MLLM parameters, which makes LVPruning simple to apply or remove. Our experiments show that LVPruning can effectively reduce up to 90% of vision tokens by the middle layer of LLaVA-1.5, resulting in a 62.1% decrease in inference Tera Floating-Point Operations Per Second (TFLOPs), with an average performance loss of just 0.45% across nine multi-modal benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google