LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

要約

GPT-4o のようなリアルタイム大規模マルチモーダル モデル (LMM) の出現により、効率的な LMM に対する大きな関心が高まっています。
LMM フレームワークは通常、視覚入力をビジョン トークン (連続表現) にエンコードし、それらとテキスト命令を大規模言語モデル (LLM) のコンテキストに統合します。ここで、大規模なパラメーターと多数のコンテキスト トークン (主にビジョン トークン) により、かなりの計算オーバーヘッドが発生します。
効率的な LMM に向けたこれまでの取り組みは、常に LLM バックボーンをより小さなモデルに置き換えることに焦点を当てており、トークンの量という重要な問題は無視されていました。
このペーパーでは、最小限のビジョン トークンを備えた効率的な LMM である LLaVA-Mini を紹介します。
視覚情報を保持しながらビジョン トークンの高い圧縮率を達成するために、まず LMM がビジョン トークンをどのように理解するかを分析し、ほとんどのビジョン トークンは主に視覚情報をテキスト トークンに融合する LLM バックボーンの初期層でのみ重要な役割を果たしていることがわかりました。
。
この発見に基づいて、LLaVA-Mini は視覚情報を事前にテキスト トークンに融合するモダリティ プレフュージョンを導入し、それによって LLM バックボーンに供給されるビジョン トークンを 1 つのトークンに極端に圧縮することを容易にします。
LLaVA-Mini は、画像、高解像度画像、ビデオの理解を効率的にサポートできる統合された大型マルチモーダル モデルです。
11 の画像ベースと 7 つのビデオベースのベンチマークにわたる実験では、LLaVA-Mini が 576 ではなく 1 つのビジョン トークンで LLaVA-v1.5 を上回るパフォーマンスを示しています。効率分析により、LLaVA-Mini が FLOP を 77% 削減し、低遅延を実現できることが明らかになりました。
40 ミリ秒以内に応答し、24 GB のメモリを備えた GPU ハードウェアで 10,000 フレームを超えるビデオを処理します。

要約(オリジナル)

The advent of real-time large multimodal models (LMMs) like GPT-4o has sparked considerable interest in efficient LMMs. LMM frameworks typically encode visual inputs into vision tokens (continuous representations) and integrate them and textual instructions into the context of large language models (LLMs), where large-scale parameters and numerous context tokens (predominantly vision tokens) result in substantial computational overhead. Previous efforts towards efficient LMMs always focus on replacing the LLM backbone with smaller models, while neglecting the crucial issue of token quantity. In this paper, we introduce LLaVA-Mini, an efficient LMM with minimal vision tokens. To achieve a high compression ratio of vision tokens while preserving visual information, we first analyze how LMMs understand vision tokens and find that most vision tokens only play a crucial role in the early layers of LLM backbone, where they mainly fuse visual information into text tokens. Building on this finding, LLaVA-Mini introduces modality pre-fusion to fuse visual information into text tokens in advance, thereby facilitating the extreme compression of vision tokens fed to LLM backbone into one token. LLaVA-Mini is a unified large multimodal model that can support the understanding of images, high-resolution images, and videos in an efficient manner. Experiments across 11 image-based and 7 video-based benchmarks demonstrate that LLaVA-Mini outperforms LLaVA-v1.5 with just 1 vision token instead of 576. Efficiency analyses reveal that LLaVA-Mini can reduce FLOPs by 77%, deliver low-latency responses within 40 milliseconds, and process over 10,000 frames of video on the GPU hardware with 24GB of memory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google