EfficientVLM: Fast and Accurate Vision-Language Models via Knowledge Distillation and Modal-adaptive Pruning

要約

事前トレーニング済みの視覚言語モデル (VLM) は、さまざまな視覚言語タスクで印象的な結果を達成しています。
ただし、一般的な VLM は通常、数億のパラメーターで構成されており、スペース、メモリ、および待機時間の制約により、実際のアプリケーションでの微調整と展開に課題が生じます。
この作業では、大規模な視覚言語モデルをより小さく、より高速で、より正確なモデルに圧縮するための、蒸留と枝刈りのフレームワークを導入します。
まず、事前トレーニング済みの大きな VLM のサイズを縮小し、視覚言語の事前トレーニング段階で知識の蒸留を適用して、タスクに依存しないコンパクトな VLM を取得します。
次に、さまざまなダウンストリーム タスクの視覚と言語モダリティの重要性を自動的に推測し、制御可能なターゲット スパース性を備えたさまざまなエンコーダーの冗長な構造とニューロンを適応的に削除する、モーダル適応プルーニング アルゴリズムを提案します。
フレームワークを適用して、6 つの視覚レイヤー、3 つのテキスト レイヤー、3 つのクロスモーダル フュージョン レイヤーで構成される高速で正確な視覚言語モデルである EfficientVLM をトレーニングします。これは、教師の 44.3% に相当する合計 9,300 万のパラメーターのみを占めます。
モデル。
EfficientVLM は、教師モデルの 98.4% のパフォーマンスを維持し、推論速度を 2.2 倍加速します。
EfficientVLM は、VQAv2 (+4.9%)、NLVR2 (+5.6%)、ITR (TR の R@1 +17.2%) を含むさまざまな視覚言語タスクで、同様のサイズの以前の SoTA 効率的な VLM よりも大きな絶対的改善を達成します。
、IR + 15.6% ) および COCO キャプション生成 (CIDEr +6.5) は、軽量 VLM のトレーニングに大きな可能性を示しています。

要約(オリジナル)

Pre-trained vision-language models (VLMs) have achieved impressive results in a range of vision-language tasks. However, popular VLMs usually consist of hundreds of millions of parameters which brings challenges for fine-tuning and deployment in real-world applications due to space, memory, and latency constraints. In this work, we introduce a distilling then pruning framework to compress large vision-language models into smaller, faster, and more accurate ones. We first shrink the size of a pre-trained large VLM and apply knowledge distillation in the vision-language pre-training stage to obtain a task-agnostic compact VLM. Then we propose a modal-adaptive pruning algorithm to automatically infer the importance of vision and language modalities for different downstream tasks and adaptively remove redundant structures and neurons in different encoders with controllable target sparsity. We apply our framework to train EfficientVLM, a fast and accurate vision-language model consisting of 6 vision layers, 3 text layers, and 3 cross-modal fusion layers, accounting for only 93 million parameters in total, which is 44.3% of the teacher model. EfficientVLM retains 98.4% performance of the teacher model and accelerates its inference speed by 2.2x. EfficientVLM achieves a large absolute improvement over previous SoTA efficient VLMs of similar sizes by a large margin on various vision-language tasks, including VQAv2 (+4.9%), NLVR2 (+5.6%), ITR (R@1 on TR +17.2%, on IR + 15.6% ) and COCO caption generation (CIDEr +6.5), demonstrating a large potential on training lightweight VLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google