Efficient Inference of Vision Instruction-Following Models with Elastic Cache

要約

命令追従型ラージ ビジョン言語モデル (LVLM) の分野では、これらのモデルを効率的に展開することが課題に直面しています。これは、特にキーバリュー (KV) キャッシュの高いメモリ需要が原因です。
LLM の従来のキャッシュ管理戦略はキャッシュの削除に重点を置いており、マルチモーダル命令追従モデルの特定のニーズに対応できないことがよくあります。
このギャップを認識して、このホワイト ペーパーでは、命令エンコーディングと出力生成ステージに個別の高速化手法を適用することで恩恵を受ける新しいアプローチである Elastic Cache を紹介します。
私たちは、さまざまな段階で重要なメトリクスを調査し、冗長キャッシュを取り除くための重要度に基づいたキャッシュ マージ戦略を提案します。
私たちの戦略では、重要性の低いキャッシュを破棄するのではなく、重要なキー/値ベクトルをアンカー ポイントとして識別します。
次に、周囲のそれほど重要でないキャッシュがこれらのアンカーとマージされ、KV キャッシュ内のコンテキスト情報の保存が強化され、同時に任意の加速率が得られます。
命令エンコーディングでは、頻度を利用してキャッシュの重要性を評価します。
出力生成に関しては、最初のトークンと最新のトークンの両方が保持されるオフセットとの距離に基づいてトークンに優先順位を付けます。
さまざまな LVLM の結果は、Elastic Cache が効率を向上させるだけでなく、さまざまなタスクにわたる言語生成において既存のプルーニング手法よりも顕著に優れていることを示しています。
コードは https://github.com/liuzuyan/ElasticCache で入手できます。

要約(オリジナル)

In the field of instruction-following large vision-language models (LVLMs), the efficient deployment of these models faces challenges, notably due to the high memory demands of their key-value (KV) caches. Conventional cache management strategies for LLMs focus on cache eviction, which often fails to address the specific needs of multimodal instruction-following models. Recognizing this gap, in this paper, we introduce Elastic Cache, a novel approach that benefits from applying distinct acceleration methods for instruction encoding and output generation stages. We investigate the metrics of importance in different stages and propose an importance-driven cache merging strategy to prune redundancy caches. Instead of discarding less important caches, our strategy identifies important key/value vectors as anchor points. Surrounding less important caches are then merged with these anchors, enhancing the preservation of contextual information in the KV caches while yielding an arbitrary acceleration ratio. For instruction encoding, we utilize the frequency to evaluate the importance of caches. Regarding output generation, we prioritize tokens based on their distance with an offset, by which both the initial and most recent tokens are retained. Results on a range of LVLMs demonstrate that Elastic Cache not only boosts efficiency but also notably outperforms existing pruning methods in language generation across various tasks. Code is available at https://github.com/liuzuyan/ElasticCache

arxiv情報

提供元, 利用サービス

arxiv.jp, Google