An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models

要約

この研究では、大規模視覚言語モデル (LVLM)、特に LLaVA-1.5、QwenVL-Chat、Video-LLaVA などの著名なモデル内での非効率的な注意現象を特定します。
ビジュアル トークンに対するアテンションの計算は、一般的な LVLM の深層では非常に非効率であることがわかり、テキスト データの処理と比較してスパースなアプローチの必要性が示唆されています。
この目的を達成するために、初期の層で適応的注意パターンを学習し、後続の層でビジュアル トークンを刈り込むことによって計算効率を最適化するように設計された多用途のプラグ アンド プレイ手法である FastV を導入します。
私たちの評価は、広範囲の画像およびビデオ理解タスクにおいてパフォーマンスを犠牲にすることなく、計算コストを劇的に削減する FastV の能力 (LLaVA-1.5-13B の FLOP の 45 削減など) を実証しています。
FastV の計算効率とパフォーマンスのトレードオフは高度にカスタマイズ可能であり、パレート効率的です。
優れたパフォーマンスを維持しながら、13B パラメータ モデルの FLOP を圧縮して、7B パラメータ モデルよりも低いバジェットを実現できます。
FastV には、エッジ デバイスや商用モデルでの LVLM の導入にとって実用的な価値があると考えています。
コードは https://github.com/pkunlp-icler/FastV で公開されています。

要約(オリジナル)

In this study, we identify the inefficient attention phenomena in Large Vision-Language Models (LVLMs), notably within prominent models like LLaVA-1.5, QwenVL-Chat and Video-LLaVA. We find out that the attention computation over visual tokens is of extreme inefficiency in the deep layers of popular LVLMs, suggesting a need for a sparser approach compared to textual data handling. To this end, we introduce FastV, a versatile plug-and-play method designed to optimize computational efficiency by learning adaptive attention patterns in early layers and pruning visual tokens in subsequent ones. Our evaluations demonstrate FastV’s ability to dramatically reduce computational costs (e.g., a 45 reduction in FLOPs for LLaVA-1.5-13B) without sacrificing performance in a wide range of image and video understanding tasks. The computational efficiency and performance trade-off of FastV are highly customizable and pareto-efficient. It can compress the FLOPs of a 13B-parameter model to achieve a lower budget than that of a 7B-parameter model, while still maintaining superior performance. We believe FastV has practical values for deployment of LVLMs in edge devices and commercial models. Code is released at https://github.com/pkunlp-icler/FastV.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google