Dynamic-LLaVA: Efficient Multimodal Large Language Models via Dynamic Vision-language Context Sparsification

要約

マルチモーダル大手言語モデル（MLLM）は、ビジョン理解、推論、および相互作用において顕著な成功を収めています。
ただし、推論計算とメモリは、デコード中の出力トークンの生成とともに徐々に増加し、MLLMの有効性に直接影響します。
既存の方法は、効率的なMLLMを達成するためにビジョンコンテキストの冗長性を減らしようとします。
残念ながら、プレフィル段階でのビジョンコンテキスト削減の効率の利点は、デコード段階で徐々に減少します。
この問題に対処するために、ダイナミックビジョンと言語のコンテキストSparsification Frameworkダイナミックラバを提案しました。これにより、Prefill段階での視力コンテキストの冗長性が動的に減少し、デコード中の生成された言語コンテキストのメモリと計算オーバーヘッドが減少します。
Dynamic-llavaは、MLLMの効率的な推論を実現するために、さまざまな推論モード、つまりKVキャッシュの有無にかかわらずデコードするさまざまな推論モードのために、調整されたスパル化推論スキームを設計します。
実際には、Dynamic-llavaは、Prefill段階で計算消費を$ \ SIM $ 75 \％減らすことができます。
一方、MLLMSの生成プロセス全体を通じて、Dynamic-llavaは、kvキャッシュなしでデコードする下で$ \ sim $ 50 \％計算消費を減らしますが、ビジョン課題の文脈の副次的に$ 50 \％gpuメモリオーバーヘッドを保存します。
また、広範な実験では、動的ラバが、完全なコンテキスト推論ベースラインと比較して、無視できる理解と生成能力の劣化、さらにはパフォーマンスの向上を伴うMLLMの効率的な推論を達成することを示しています。
コードはhttps://github.com/osilly/dynamic_llavaで入手できます。

要約(オリジナル)

Multimodal Large Language Models (MLLMs) have achieved remarkable success in vision understanding, reasoning, and interaction. However, the inference computation and memory increase progressively with the generation of output tokens during decoding, directly affecting the efficacy of MLLMs. Existing methods attempt to reduce the vision context redundancy to achieve efficient MLLMs. Unfortunately, the efficiency benefits of the vision context reduction in the prefill stage gradually diminish during the decoding stage. To address this problem, we proposed a dynamic vision-language context sparsification framework Dynamic-LLaVA, which dynamically reduces the redundancy of vision context in the prefill stage and decreases the memory and computation overhead of the generated language context during decoding. Dynamic-LLaVA designs a tailored sparsification inference scheme for different inference modes, i.e., prefill, decoding with and without KV cache, to achieve efficient inference of MLLMs. In practice, Dynamic-LLaVA can reduce computation consumption by $\sim$75\% in the prefill stage. Meanwhile, throughout the entire generation process of MLLMs, Dynamic-LLaVA reduces the $\sim$50\% computation consumption under decoding without KV cache, while saving $\sim$50\% GPU memory overhead when decoding with KV cache, due to the vision-language context sparsification. Extensive experiments also demonstrate that Dynamic-LLaVA achieves efficient inference for MLLMs with negligible understanding and generation ability degradation or even performance gains compared to the full-context inference baselines. Code is available at https://github.com/Osilly/dynamic_llava .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google